False positive control in time series coincidence detection
University of Chicago(芝加哥大学)
本文提出基于时间偏移的方法,用于时间序列中巧合检测的假阳性控制,并通过理论分析和实验证明其在依赖数据中的有效性。
2026-01-19 math.ST stat.TH
Small-world topology of functional connectivity in randomly connected dynamical systems
现实世界复杂系统的表征越来越多地涉及到使用图论研究其拓扑结构。在全球网络的性质,小世界性质,包括存在相对较短的路径和高度聚类的网络,是最多的讨论和研究之一。当处理耦合动力系统时,系统单元之间的联系通常通过测量观测到的时间序列的成对统计依赖性(功能连接性)来量化。我们认为,功能连接的方法导致向上偏估计的小世界特征(相对于常用的随机图模型),由于部分传递性的接受功能连接的措施,如相关系数。特别是,这可能会导致观察的小世界特性的连接图估计从通用随机连接的动态系统。的普遍性和鲁棒性的现象是记录其表现形式在一个多元线性自回归过程中的广泛的参数研究,与讨论的潜在相关性的非线性过程和措施。
2012-06-18 cs.SI physics.data-an physics.soc-ph
Time-warped Trials
我概述了一个信号的响应策略,用于调整事件时间之间的时间序列试验的上下文中,显着的事件时间,如发作和偏移试验之间的变化。这些变化阻止了在实际环境中对试验的直接比较,因为比较需要等长的时间序列(Salari等人,2019年)。像动态时间规整这样的算法可以帮助我们局部量化这些变化,但不能很好地应用于时间序列信号的连续变换,而不需要插值或下采样来添加或删除样本(Jamid,2004; Eckner,2014)。我表明,考虑到填充和采样频率,sinc插值足以重新采样部分的试验间隔,以产生等长的时间锁定的试验,相关的,并强烈近似其未翘曲的同行,最小的插值效果。具体来说,我表明,插值效应可以最小化过采样,选择性地插入不对齐的部分试验的平均不对齐的事件长度,并插入不对齐的事件与足够的零填充。然后,插值信号的带宽限制远低于奈奎斯特频率,并满足奈奎斯特-香农采样定理,以确保完美的重建,我发现我可以跟踪和潜在的抵消信号能量的影响。
2023-02-01 eess.SP
Time Series Source Separation using Dynamic Mode Decomposition
University of Michigan(密歇根大学)
动态模式分解(DMD)提取的动态模式是矩阵的非正交特征向量,其最佳地近似多元样本的一步时间演化。在动力系统分析的背景下,提取的动态模式是全局稳定性模式的推广。我们将DMD应用于数据矩阵,其行是线性无关的,潜在的时间序列的加法混合。我们发现,当潜在的时间序列是不相关的一个时间步长的滞后,然后,在大样本限制,恢复的动态模式将近似,列的方式规范化,列的混合矩阵。因此,DMD是一种伪装的时间序列盲源分离算法,但不同于密切相关的二阶算法,例如二阶盲识别(SOBI)方法和多未知信号提取算法(AMUSE)。所有这些都可以以基于峰度的独立分量分析(ICA)根本无法实现的方式对混合平稳、遍历高斯时间序列进行解混。我们使用我们对单滞后DMD的见解来开发更高滞后的扩展,分析有和没有随机缺失数据的有限样本性能,并确定更高滞后变体可以优于传统单滞后变体的设置。我们用数值模拟验证了我们的结果,并强调了DMD如何用于变点检测。
2020-03-05 cs.LG math.ST stat.ML
Generalised learning of time-series: Ornstein-Uhlenbeck processes
在机器学习、统计学、计量经济学和统计物理学中,交叉验证(CV)被用作量化统计模型泛化性能的标准方法。在时间序列中直接应用CV会导致序列相关性的丢失、保持非平稳性的要求以及用未来数据预测过去数据。在这项工作中,我们提出了一种称为重建交叉验证(rCV)的元算法,可以避免所有这些问题。首先,用原始时间序列的非重叠随机选择的子集形成k个折叠。然后,我们通过从给定的折叠中删除数据点来生成k个新的部分时间序列:每个新的部分时间序列随机地从不同的整个折叠中缺失点。使用合适的填补或平滑技术来重构k个时间序列。我们称这些重建为次级模型。之后,我们使用来自次级模型的新时间序列来构建初级k时间序列模型。通过计算原始去除数据点和样本外(OSS)数据的偏差来同时评估原始模型的性能。可以使用rCV以及生成学习曲线来实践时间序列模型中的完全交叉验证。
2021-12-13 cond-mat.stat-mech cs.LG stat.ME
A test for second-order stationarity of time series based on unsystematic sub-samples
本文介绍了一种新的检验时间序列平稳性的方法,其中的检验统计量是通过测量和最大化两个随机区间上二阶结构的差异而得到的。对高斯和非高斯时间序列建立了检验统计量的渐近正态性,并提出了一种估计主要统计量方差的自助程序。此外,我们还展示了本地替代方案下测试的一致性。由于固有的灵活性随机,非系统的子样本用于检验统计量建设,所提出的方法是能够识别的间隔显着偏离平稳性没有任何二元约束,这是一个优势,比其他测试采用系统的设计。我们在模拟和真实数据上都证明了其良好的有限样本性能,特别是在检测局部偏离平稳性方面。
2016-11-25 stat.ME
Conditional Randomization Tests for Behavioral and Neural Time Series
针对行为与神经科学实验中刺激依赖受试者先前行为、无法用简单随机化检验的问题,提出用条件随机化做精确假设检验,对比切线随机化的局限性并给出实验设计思路。
2023-11-06 stat.ME
Identification of Spikes in Time Series
识别时间序列中的意外高值对于流行病学家、经济学家和其他对暴露峰值对结果变量的影响感兴趣的社会科学家非常有用。然而,识别时间序列中尖峰的最佳方法尚不清楚。本文旨在填补这一空白,在模拟环境中测试几个锋电位检测方法的性能。我们创建了模拟参数的每月暴力率在九个加利福尼亚州的城市,代表不同的系列功能,并随机插入尖峰到系列。然后,我们比较了以下方法检测尖峰的能力:ARIMA建模,卡尔曼滤波和平滑,小波建模与软阈值,和迭代离群值检测方法。在研究期间,我们将尖峰的幅度从平均速率的10-50%变化,并将插入的尖峰数量从1变化到10。我们使用灵敏度和特异性评估了每种方法的性能。卡尔曼滤波和平滑程序具有最佳的总体性能。我们将卡尔曼滤波和平滑应用于加利福尼亚州9个城市的每月暴力率,并确定了2005-2012年期间的暴力率峰值。
2018-01-24 stat.AP
Long-Term Missing Value Imputation for Time Series Data Using Deep Neural Networks
Teikametrics;Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);International Institute for Applied Systems Analysis(国际应用系统分析研究所)
我们提出了一种使用深度学习模型的方法,特别是多层感知器(MLP),用于估计多变量时间序列数据中变量的缺失值。我们专注于填补一个长期持续的空白(例如,多个月缺失的每日观察值),而不是单个随机缺失的观察值。我们提出的间隙填充算法使用自动方法来确定最佳MLP模型架构,从而为给定的时间序列提供最佳的预测性能。我们通过在具有不同时间序列特征的三个环境数据集(即每日地下水位,每日土壤湿度和每小时净生态系统交换)中填充不同长度(三个月至三年)的空白来测试我们的方法。我们将我们的方法与广泛使用的基于R的时间序列间隙填充方法ImputeTS和mtsdi获得的间隙填充值的准确性进行了比较。结果表明,使用MLP来填充大的间隙会导致更好的结果,特别是当数据表现为非线性时。因此,我们的方法可以使用在一个变量中有很大差距的数据集,这在许多长期环境监测观测中很常见。
2022-02-25 cs.LG math.OC stat.AP
RDIS: Random Drop Imputation with Self-Training for Incomplete Time Series Data
KLleon R&D Center(KLleon研发中心)
本文提出RDIS方法,通过随机丢弃观测值生成额外缺失值以显式训练插补模型,并结合基于熵过滤伪值的自训练策略利用原始缺失值,在多个模型和两个真实数据集上验证了其有效性。
2023-01-25 cs.LG stat.ML
One-dimensional Deep Image Prior for Time Series Inverse Problems
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们将深度图像先验(DIP)框架扩展到一维信号。DIP使用随机初始化的卷积神经网络(CNN)通过优化权重来解决线性逆问题,以拟合观察到的测量结果。我们的主要发现是,适当调整的一维卷积架构为各种类型的时间信号(包括音频,生物信号和传感器测量)提供了出色的深度图像先验。我们证明了我们的网络可以用于各种恢复任务,包括缺失值填补,盲去噪和随机高斯投影的压缩感知。关键的挑战是如何通过仔细调整提前停止、总变差和权重衰减正则化来避免过拟合。我们的方法需要比Lasso少4倍的测量,并且优于NLM-VAMP对音频信号的随机高斯测量,具有与卡尔曼状态空间模型对各种数据的插补性能相似的插补性能,并且在从空气质量传感器读数中去除加性噪声方面优于小波滤波。
2019-04-18 cs.LG stat.ML
Constructing hierarchical time series through clustering: Is there an optimal way for forecasting?
本文研究预测协调中层次结构的构建方式,通过比较多种时间序列聚类表示与距离定义、随机置换实验及跨层次预测平均,发现准确性提升主要来自层次结构而非相似序列分组,且多方法平均表现最佳。
2024-09-08 stat.ME
IB-GAN: A Unified Approach for Multivariate Time Series Classification under Class Imbalance
Cornell University(康奈尔大学);Amazon Search(亚马逊搜索)
具有强类别不平衡性的大型多变量时间序列的分类是实际应用中的一项重要任务。类权重,过采样或参数数据增强的标准方法并不总是产生显着的改善预测少数类的兴趣。使用生成对抗网络(GANs)的非参数数据增强提供了一个很有前途的解决方案。本文提出了一种新的估算平衡GAN(IB-GAN)方法,它通过估算平衡的方法将数据扩充和分类结合在一个一步的过程中。IB-GAN使用插补和重采样技术从随机掩码向量中生成比白噪声更高质量的样本,并通过一组类平衡的真实和合成样本来增强分类。插补超参数$p_{miss}$允许通过调整经由生成器插补引入的创新来正则化分类器可变性。IB-GAN易于训练和模型不可知,将任何深度学习分类器与生成器配对,并为未被观察到的类提供更高的准确性。对开源UCR数据和专有90 K产品数据集的实证实验显示,与最先进的参数和GAN基线相比,性能有了显著提高。
2021-10-14 cs.LG stat.ML
A sequential method of detecting abrupt changes in the correlation coefficient and its application to Bering Sea climate
提出了一种利用相关系数进行区移检测的新方法。该方法的目的是找到多个变化点的位置未知的时间序列。它实时发出可能的政权转移信号,并允许对其进行监测。随机生成的时间序列与预定义的变化点的方法进行了测试。它被应用于研究白令海气候的结构变化。1967年发现了一个重大的转变,这与从纬向型大气环流向纬向型大气环流的转变相吻合。研究了西伯利亚和阿拉斯加作用中心对白令海东部冬季温度的影响。
2015-07-23 physics.ao-ph physics.ins-det stat.AP
Estimation of missing data by using the filtering process in a time series modeling
提出了一种利用滤波过程估计缺失数据的新方法。我们使用无缺失数据和随机缺失数据的数据集,通过使用Box - Jenkins建模技术来评估新的估计方法,以预测马来西亚Kepala Batas,P. Pinang站5504035 Lahar Ikan Mati站点的月平均降雨量。降水资料收集自1969年1月至$1^{st}$ 1997年12月。用于发展预测降雨量的模型的数据由自回归综合移动平均(ARIMA)模型表示。两个数据集的模型均为ARIMA $(1,0,0)(0,1,1)_s$。结果用朴素检验(Naive test)检验,即Thiel统计量,发现对于完整数据等于$U=0.72086$,对于缺失数据等于$U=0.726352$,这意味着它们是良好的模型。
2008-11-05 stat.ME
Efficient Kernel-based Subsequence Search for User Identification from Walking Activity
University of Milano-Bicocca(米兰比可卡大学)
本文提出了一种有效的数据流子序列搜索方法。这个问题在于确定一个给定的参考时间序列,最终多变量,在一个较长的数据流的相干重复。动态时间规整(DTW)是实现模式查询最广泛使用的度量,但其计算复杂性是一个众所周知的问题。在本文中,我们提出了一种方法,旨在学习能够近似DTW的内核,用于有效地分析从可穿戴传感器收集的流数据,减少计算负担。与内核相反,DTW允许比较不同长度的时间序列。因此,为了使用内核,使用特征嵌入来将时间序列表示为固定长度的向量。每个向量分量是给定时间序列和一组“基”序列(通常是随机选择的)之间的DTW。向量大小是用于特征嵌入的基序列的数量。搜索最小化具有参考子序列的DTW的数据流的部分导致全局优化问题。所提出的方法已在一个基准数据集上进行了验证,该数据集与根据步行活动识别用户有关。还提供了与传统DTW实现的比较。
2019-07-16 cs.LG stat.ML
Non-Stationary Time Series Model for Station Based Subway Ridership During Covid-19 Pandemic (Case Study: New York City)
2020年的COVID-19疫情对交通系统造成了突然冲击,特别是纽约市的地铁乘客模式。通过统计模型了解地铁乘客量的时间模式在这种冲击中至关重要。然而,许多现有的统计框架可能不适合分析疫情期间的乘客量数据集,因为在此期间可能会违反一些建模假设。在本文中,利用变点检测程序,我们提出了一个分段平稳的时间序列模型来捕捉地铁客流量的非平稳结构。具体而言,该模型由几个独立的站为基础的自回归综合移动平均(ARIMA)模型连接在一起,在某些时间点。此外,数据驱动算法用于检测2019冠状病毒病大流行之前和期间的乘客模式变化以及估计模型参数。焦点的数据集是随机选择的纽约市地铁站的每日乘客量。拟合这些数据集的建议模型增强了我们对外部冲击期间乘客量变化的理解,无论是在均值(平均)变化还是时间相关性方面。
2022-01-28 stat.AP
Scalable Dictionary Classifiers for Time Series Classification
University of East Anglia(东英吉利大学)
基于字典的分类器是一系列用于时间序列分类(TSC)的算法,其专注于捕获时间序列中模式出现的频率。在最近的一次评估中,基于集成的符号傅立叶近似符号包(BOSS)被认为是性能最好的TSC算法,也是性能最好的基于字典的分类器。最近添加到该类别的词提取时间序列分类(WEASEL)声称这一性能有所改进。然而,这两种算法都有不可忽视的可扩展性问题,在较大的数据集上花费了大量的构建时间和空间。我们评估BOSS为其集成选择分类器的方式的变化,用随机选择取代其参数搜索。这一更改允许轻松实现合同,为分类器和检查点设置构建时间限制,在分类器构建期间保存进度。为了区分这两种BOSS集成方法,我们将我们的随机版本称为RBOSS。此外,我们测试的应用程序的共同集成技术,以帮助保持准确性的BOSS参数搜索的损失。我们实现了一个显着减少构建时间没有显着变化的准确性平均相比,BOSS通过创建一个大小$n$加权合奏选择最好的表演者从$k$随机选择的参数集。我们的实验是在最近扩展的UCR时间序列档案的数据集上进行的。我们证明了可用性的改进,RBOSS的案例研究,使用大型鲸鱼声学数据集BOSS证明是不可行的。
2019-07-26 cs.LG stat.ML
ConvTimeNet: A Pre-trained Deep Convolutional Neural Network for Time Series Classification
BITS-Pilani Goa Campus(贝拉理工学院皮拉尼果阿校区);TCS Research(塔塔咨询服务研究院)
训练深度神经网络通常需要仔细的超参数调整和大量的计算资源。在本文中,我们提出了ConvTimeNet(CTN):一种现成的深度卷积神经网络(CNN),在各种单变量时间序列分类(TSC)源任务上进行训练。一旦经过训练,CTN可以通过使用来自目标任务的标记实例进行少量微调来轻松地适应新的TSC目标任务。我们注意到,卷积滤波器的长度是构建预训练模型的一个关键方面,该模型可以泛化到跨数据集的不同长度的时间序列。为了实现这一目标,我们在CTN的所有卷积层中加入了多种长度的滤波器,以捕获多个时间尺度的时间特征。我们考虑所有65个数据集的时间序列长度高达512点,从UCR TSC基准训练和测试CTN的可移植性:我们训练CTN随机选择的子集24个数据集使用多头方法与不同的softmax层为每个训练数据集,并研究的泛化能力和可移植性的学习过滤器的剩余41 TSC数据集。与现有的最先进的TSC方法相比,使用预训练的CTN作为后续特定任务微调的起点时,我们观察到分类准确性和计算效率的显着提高。我们还通过以下方式对CTN的工作提供了定性见解:i)分析第一卷积层的激活和滤波器,表明CTN中的滤波器通常是有用的,ii)分析设计决策的影响,以纳入多个长度决策,以及iii)通过遮挡敏感性分析找到影响最终分类决策的时间序列区域。
2019-05-02 cs.LG stat.ML
Spectral remapping of natural signals
在这里,我们提出了一个算法,程序重新映射自然信号的频谱内容。该算法有两个输入:一个信号的频谱分量需要重新映射和一个扭曲或重新映射函数。该算法生成一个输出,该输出是原始信号的重映射版本。分两步将输入信号重新映射为输出信号。在分析步骤中,算法执行一系列操作以修改光谱内容,即,根据给定的重映射函数计算信号的扭曲相位。在合成步骤中,修改的频谱内容与输入信号的包络信息组合以重构变形或重映射的输出信号。
2019-12-22 eess.SP
Resource-aware Time Series Imaging Classification for Wireless Link Layer Anomalies
随着智能基础设施的兴起,使用最后一英里无线连接的终端设备数量急剧增加,需要可靠的功能来支持平稳高效的业务流程。为了有效地管理如此庞大的无线网络,需要更先进、更准确的网络监控和故障检测解决方案。在本文中,我们进行了第一次分析的无线异常检测使用递归图和Gramian角场的基于图像的表示技术,并提出了一种新的深度学习架构,使准确的异常检测。我们详细阐述了开发一个资源感知架构的设计考虑,并提出了一个新的模型,使用时间序列的图像转换,使用递归图。我们表明,所提出的模型a)比基于Grammian角场的模型高出14个百分点,b)比使用动态时间规整的经典ML模型高出24个百分点,c)优于主流架构(如AlexNet和VGG 11)或与之相当,同时具有<10倍于其权重和高达其计算复杂性的$\approx$ 8\%,以及在各个应用领域的表现超过最先进水平达55个百分点。最后,我们还解释了随机选择的例子如何分类决策。
2021-11-23 cs.LG cs.NI eess.SP
Assessing the Impact of Sampling Irregularity in Time Series Data: Human Activity Recognition As A Case Study
本研究通过模拟时间戳变化和随机数据丢失,评估采样不规则性对人类活动识别的影响,发现现有离散和连续时间神经网络均难以有效应对,凸显了开发稳健处理不规则采样新方法的必要性。
2025-01-25 eess.SP
Global Outliers Detection in Wireless Sensor Networks: A Novel Approach Integrating Time-Series Analysis, Entropy, and Random Forest-based Classification
无线传感器网络(WSNs)由于其在监测、通信和报告特定物理现象方面的实用性,近年来在全球范围内引起了越来越多的关注。由于不可避免的环境因素,无线传感器网络收集的数据往往是不准确的,这些因素可能包括噪声、信号微弱或入侵攻击,这取决于具体情况。发送高噪声数据不仅会对数据准确性和网络可靠性产生负面影响,还会对基站的决策过程产生负面影响。异常检测,或离群值检测,是在所描述的上下文中检测噪声数据的过程。文献中包含相对较少的噪声检测技术的背景下,无线传感器网络,特别是离群检测算法应用时间序列分析,考虑有效的邻居,以确保全球合作检测。因此,本文提出的研究旨在设计和实现一种全局离群检测方法,该方法允许我们找到并选择合适的邻居,以确保基于时间序列分析和熵技术的自适应协作检测。所提出的方法适用于一个随机森林算法,以确定最佳的结果。为了衡量所提出的方法的有效性和效率,英特尔伯克利研究实验室提供了一个全面的和真实的场景进行了模拟。噪声数据被随机地注入到所收集的数据中。从实验中获得的结果,然后进行实验表明,我们的方法可以检测异常高达99%的准确率。
2021-07-21 cs.NI eess.SP