Bayesian online collective anomaly and change point detection in fine-grained time series
本研究提出贝叶斯框架及递归在线推理算法,联合检测细粒度时间序列中的集体异常与变点,并通过集体异常移除将复杂度降至线性,实验验证了其有效性。
2025-08-08 stat.ME
Robust PCA for Anomaly Detection and Data Imputation in Seasonal Time Series
Quantmetry(Quantmetry公司);ENSIIE(法国国立高等工业工程学校);Université Paris Saclay(巴黎萨克雷大学)
我们提出了一个强大的主成分分析(RPCA)框架,以恢复低秩和稀疏矩阵的时间观测。我们开发了一个在线版本的批量时态算法,以处理更大的数据集或流数据。我们实证比较所提出的方法与不同的RPCA框架,并显示其在实际情况下的有效性。
2022-08-03 cs.LG stat.ML
Online Bootstrap Inference for the Trend of Nonstationary Time Series
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出一种在线自助法方案,用于非平稳时间序列的非参数水平估计,实现可扩展的不确定性量化,适用于自适应异常检测、在线监测等场景。
2026-06-26 stat.CO stat.ME
Online Generalized Method of Moments for Time Series
针对大规模流时间序列数据分析需求,提出了在线广义矩方法(OGMM)框架,在继承离线GMM优势的同时大幅提升了时间和内存效率,并改进了相关检验方法,在多种任务与应用中验证了其有效性。
2025-02-02 econ.EM stat.ME
Joint community and anomaly tracking in dynamic networks
大多数真实世界的网络表现出社区结构,其特征在于存在节点簇,其边内连接性强于属于不同簇的节点之间的边连接性。除了有助于更好地理解网络行为,社区检测在不同的环境中发现了许多实际应用。在线社交网络中的社区表明共享的功能角色,或隶属于共同的社会经济地位,了解这一点对于有针对性的广告至关重要。在买方-卖方网络中,社区检测有助于更好地推荐产品。不幸的是,社区分配的可靠性受到异常用户行为的阻碍,这些异常用户行为通常被视为不公平的自我推销,或为促进欺诈而创建的“虚假”高连接帐户。本文提出了一种新的方法,用于联合跟踪社区,同时检测时变网络中的异常节点。通过假设边的产生是节点对共同参与社区的结果,提出了一种通过稀疏离群矩阵捕获异常成员关系的动态因子模型。有效的跟踪算法,适用于在线和分散操作。在合成和真实网络时间序列上进行的实验成功地揭示了潜在的社区和异常节点。
2015-06-25 cs.SI physics.soc-ph stat.ML
FDR Control for Online Anomaly Detection
针对在线异常检测中经典多重检验方法无法适用、缺乏FDR控制的问题,提出基于mFDR局部控制的在线多重检验策略,结合校准数据集基数调优实现全序列FDR控制,并通过理论与仿真验证了性能。
2024-12-16 stat.ME
Time-Series Anomaly Detection Service at Microsoft
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Microsoft(微软)
大型公司需要实时的监控其应用程序和服务的各种指标(例如,页面浏览量和收入)。在微软,我们开发了一种时间序列异常检测服务,帮助客户持续监控时间序列,并及时提醒潜在的事件。在本文中,我们介绍了我们的异常检测服务的管道和算法,它被设计为准确,高效和通用。该流水线由三个主要模块组成,包括数据摄取、实验平台和在线计算。针对时间序列异常检测问题,提出了一种基于谱残差(SR)和卷积神经网络(CNN)的异常检测算法。我们的工作是第一次尝试借用SR模型从视觉显著性检测领域的时间序列异常检测。此外,我们创新性地将SR和CNN结合在一起,以提高SR模型的性能。与公共数据集和Microsoft生产数据的最新基线相比,我们的方法实现了卓越的实验结果。
2019-06-10 cs.LG stat.ML
Anomaly Detection on Seasonal Metrics via Robust Time Series Decomposition
Web服务的稳定性和持久性对于互联网公司改善用户体验和业务绩效至关重要。为了关注众多指标并报告异常情况,时间序列异常检测方法被开发并被公司和机构的各个部门应用。在本文中,我们提出了一个强大的异常检测算法(MEDIFF),实时监测在线业务指标。具体而言,分解方法使用强大的统计度量-中位数-的时间序列被应用到解耦的趋势和季节成分。在考虑夏令时偏移和节假日影响的情况下,对时间序列进行分解。对分解后的残差进行广义统计检验,发现时间序列中的异常值。我们比较了建议MEDIFF算法与两个开源算法(SH-ESD和DONUT),通过使用我们标记的内部业务指标。实验结果证明了所提出的MEDIFF算法的有效性。
2020-08-21 stat.AP
Feedforward Neural Network for Time Series Anomaly Detection
Tencent Company(腾讯公司);National University of Singapore(新加坡国立大学)
时间序列异常检测通常被表述为发现相对于一些通常数据的异常数据点,这也是工业界和学术界的一个重要问题。为了确保系统稳定运行,互联网公司,银行和其他公司需要监控时间序列,这被称为KPI(关键性能指标),如CPU使用量、订单数、在线用户数等。然而,数以百万计的时间序列有几种形状(例如,季节性KPI、定时任务的KPI和所使用的CPU的KPI),使得很难使用简单的统计模型来检测所有类型的时间序列的异常。虽然一些异常检测器已经发展了很多年,一些监督模型也可以在这个领域,我们发现许多方法都有自己的缺点。在本文中,我们提出了我们的系统,这是基于深度前馈神经网络和检测时间序列的异常点。我们的系统与其他基于监督模型的系统之间的主要区别在于,我们不需要对时间序列进行特征工程来训练深度前馈神经网络,这本质上是一个端到端的系统。
2018-12-21 cs.AI cs.LG stat.ML
Semi-Markov Switching Vector Autoregressive Model-based Anomaly Detection in Aviation Systems
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
在这项工作中,我们考虑在异构,多变量,可变长度的时间序列数据集的异常检测问题。我们的重点是航空安全领域,其中数据对象是航班,时间序列是传感器读数和飞行员开关。在这种情况下,目标是检测由于机械、环境或人为因素而导致的异常飞行路段,以识别运营上的重大事件,提供对飞行运营的见解,并强调否则无法实现的潜在安全风险和事故前兆。为了这个目的,我们提出了一个框架,代表每个航班使用半马尔可夫切换向量自回归(SMS-VAR)模型。然后,异常的检测基于测量模型的预测和数据观察之间的差异。由于大多数计算的固有并行性质,该框架是可扩展的,并且可以用于执行在线异常检测。在模拟和真实数据集上的大量实验结果表明,该框架可以检测各种类型的异常以及所涉及的关键参数。
2016-02-28 cs.LG stat.AP stat.ML
RobustTAD: Robust Time Series Anomaly Detection via Decomposition and Convolutional Neural Networks
DAMO Academy, Alibaba Group Inc.(阿里巴巴集团达摩院)
阿里巴巴集团对大量不同的时间序列数据进行监控和管理,需要一种有效且可扩展的时间序列异常检测服务。在本文中,我们提出了RobustRisk,一个鲁棒的时间序列异常检测框架,通过集成强大的季节趋势分解和卷积神经网络的时间序列数据。季节趋势分解可以有效地处理时间序列中的复杂模式,同时大大简化了神经网络的结构,这是一个具有跳跃连接的编码器-解码器结构。该结构能够有效地从时间序列中提取多尺度信息,在异常检测中具有重要的应用价值。由于时间序列异常检测中标记数据的有限性,本文系统地研究了时域和频域的数据增强方法。利用时间序列异常检测问题的不平衡性,在损失函数中引入了基于标签的权重和基于值的权重。与广泛使用的基于预测的异常检测算法、基于分解的算法、传统的统计算法以及最近的基于神经网络的算法相比,RobustRobust在公共基准数据集上的性能明显更好。它被部署为公共在线服务,并广泛应用于阿里巴巴集团的不同业务场景。
2021-09-18 cs.LG eess.SP stat.AP
Robust Projection based Anomaly Extraction (RPE) in Univariate Time-Series
Amazon(亚马逊)
本文提出了一种新颖的,封闭的形式,和数据/计算效率的时间序列数据的在线异常检测算法。该方法被称为RPE,是一种基于窗口的方法,与现有的基于窗口的方法形成鲜明对比,它对窗口中异常的存在具有鲁棒性,并且可以在时间戳级别上区分异常。RPE利用时间序列的轨迹矩阵的线性结构,并采用鲁棒投影步骤,该步骤使得算法能够处理其窗口中存在的多个任意大的异常。给出了鲁棒投影步骤的一种封闭形式/非迭代算法,并证明了该算法能够识别出被破坏的时间戳。RPE是一个伟大的候选人的应用程序中,大量的训练数据是不可用的,这是在时间序列领域的常见情况。大量的数值实验表明,RPE可以明显优于现有的方法。
2022-05-31 cs.AI cs.LG stat.ML
AA-Forecast: Anomaly-Aware Forecast for Extreme Events
University of Central Florida(中佛罗里达大学);Baidu Inc.(百度公司)
时间序列模型通常处理极端事件和异常,这两者在现实世界的数据集中都很普遍。这些模型往往需要提供仔细的概率预测,这对于飓风和流行病等极端事件的风险管理至关重要。然而,自动检测和学习使用大规模数据集的极端事件和异常是具有挑战性的,这通常需要手动操作。因此,我们提出了一个异常感知的预测框架,利用以前看到的异常的影响,以提高其预测精度期间和之后的极端事件的存在。具体而言,该框架自动提取异常,并通过注意机制将其纳入,以提高其对未来极端事件的准确性。此外,该框架采用动态不确定性优化算法,以在线方式减少预测的不确定性。该框架在三个数据集上表现出一致的优越准确性,具有较低的不确定性,这些数据集与当前的预测模型具有不同的异常。
2022-08-21 cs.LG stat.ML
Low-count Time Series Anomaly Detection
Amazon Prime Video(亚马逊Prime Video)
针对低计数时间序列异常检测中信噪比低和性能不均的挑战,提出一种生成基准数据集的新方法,并通过理论和实证分析证明异常分数平滑能持续提升检测性能。
2023-08-24 cs.AI cs.LG stat.ML
Real Time Anomaly Detection And Categorisation
快速准确地检测数据序列中的异常结构的能力是越来越重要的推理挑战。这项工作扩展了最近提出的事后(离线)异常检测方法的顺序设置。由此产生的程序是能够实时分析和分类之间的基线和两种形式的异常结构:点和集体异常。各种理论性质的程序推导。这些,再加上广泛的仿真研究,突出表明,平均运行长度虚警和平均检测延迟的建议在线算法是非常接近的离线版本。仿真和真实数据的实验证明了所提出的方法的好处。
2020-09-14 stat.AP stat.CO stat.ME