Online non-parametric change-point detection for heterogeneous data streams observed over graph nodes
考虑由图的节点生成的异构数据流。数据流本质上由多个流组成,可能具有取决于每个节点的不同性质。在给定时刻$τ$,对于节点$C$的子集出现变化点,表示它们的关联流的概率分布的变化。在本文中,我们提出了一个在线的非参数方法来推断$τ$的基础上的变化后,与每个节点的数据流的变化前的分布之间的似然比的直接估计。我们提出了一种基于核的方法,假设连接的节点的图预计有类似的似然比估计时,没有变点。我们证明了我们的方法在合成实验和现实世界中的应用质量。
2021-10-20 cs.LG stat.ML
Likelihood Scores for Sparse Signal and Change-Point Detection
在这里,我们考虑识别大规模数据流上的变点。我们的目标是找到最有效的方法来组合信息的数据流,使检测是可能的最小的可检测的变化幅度。挑战来自于变化点的稀疏性,即在任何时间点只有一小部分数据流发生变化。到目前为止,最成功的稀疏性问题的方法一直是应用硬阈值,这样,只有本地的分数表现出显着的变化的数据流被认为是和添加。然而,最佳阈值的识别是一个困难的。特别是,对于不同的稀疏度水平,相同的阈值是最优的是不太可能的。在这里,我们提出了一个稀疏的似然得分识别稀疏信号。分数是无变化的原假设与变化点或信号几乎不可检测的备择假设之间的似然比。根据Neyman-Pearson引理,这个分数在给定的备选方案中具有最大的检测能力。结果是,我们对数据流进行了评分,该评分成功地检测到信号和变化点的可检测区域的边界。似然分数可以被看作是稀疏信号和变化点检测的软阈值方法,其中指示小变化的局部分数比指示大变化的局部分数被向下加权得多。我们能够显示二阶最优的稀疏似然得分的意义上实现成功的检测在最小的可检测的顺序的变化幅度以及在最小的检测渐近常数相对于这个顺序的变化。
2022-03-28 math.ST stat.TH
Online Change-Point Detection in Linear Regression with Autoregressive Errors via Streaming Variational Bayes
Yonsei University(延世大学)
该研究提出流式变分贝叶斯方法,用于带自回归误差的线性回归在线变点检测,经模拟和比特币波动率数据验证,其检测性能优于频率主义序贯监测程序。
2026-10-14 stat.ME
Online Structural Change-point Detection of High-dimensional Streaming Data via Dynamic Sparse Subspace Learning
Peking University(北京大学);Virginia Tech(弗吉尼亚理工大学);Shanghai Jiao Tong University(上海交通大学)
高维流数据在许多领域变得越来越普遍。它们通常位于多个低维子空间中,并且由于模式转移或异常的发生,流形结构可能在时间尺度上突然改变。然而,以实时方式检测结构变化的问题还没有得到很好的研究。为了填补这一空白,我们提出了一种动态稀疏子空间学习方法在线检测高维流数据的结构变化点。提出了一种新的多结构变点模型,并研究了估计量的渐近性质。提出了一种基于贝叶斯信息准则和变点检测精度的惩罚系数整定方法。提出了一种有效的基于剪枝精确线性时间的在线优化和变点检测算法。通过几个仿真研究和一个真实的案例研究手势数据的运动跟踪所提出的方法的有效性证明。
2022-04-12 cs.LG stat.ML
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
PERCEPT: a new online change-point detection method using topological data analysis
拓扑数据分析(TDA)提供了一套数据分析工具,用于从复杂的高维数据集中提取嵌入的拓扑结构。近年来,TDA已经成为一个快速发展的领域,在广泛的应用中取得了成功,包括信号处理,神经科学和网络分析。在这些应用中,变化的在线检测至关重要,但这可能具有高度挑战性,因为此类变化通常发生在高维数据流中的低维嵌入中。因此,我们提出了一种新的方法,称为基于持久性的变化点检测(PERCEPT),它利用从TDA学习的拓扑结构,顺序检测变化。PERCEPT遵循两个关键步骤:它首先通过持久性图学习作为点云的嵌入式拓扑,然后应用非参数监测方法来检测所得到的点云分布中的变化。这产生了一个非参数的,拓扑感知的框架,可以有效地检测在线变化,从高维数据流。我们调查的有效性的感知现有的方法在一套数值实验中的数据流有一个嵌入式的拓扑结构。然后,我们证明了在太阳耀斑监测和人体姿态检测的两个应用程序中的有效性的感知。
2022-03-08 math.AT stat.AP stat.ME
Detecting weak changes in dynamic events over networks
Georgia Institute of Technology(佐治亚理工学院)
大量的联网流事件数据在各种各样的应用中变得越来越可用,例如社会网络分析、互联网流量监控和医疗保健分析。流事件数据是在连续时间内发生的离散观测,两个事件之间的精确时间间隔携带了大量关于底层系统动态的信息。如何使用这些流事件数据及时检测这些动态系统中的变化?在本文中,我们提出了一种新的变点检测框架,多维事件数据在网络上。我们投到顺序假设检验的问题,并推导出点过程的似然比,这是有效地计算通过EM样算法,是无参数的,可以计算在一个分布式的方式。我们得到了一个高度准确的理论表征的虚警率,并表明,它可以实现弱信号检测通过聚集本地统计随着时间和网络。最后,我们证明了我们的算法的数值例子和真实世界的数据集从Twitter和Memetracker的良好性能。
2016-09-16 cs.LG stat.ML
Score-Based Quickest Change Detection and Fault Identification for Multi-Stream Signals
本文提出min-SCUSUM方法,利用Hyvarinen分数函数之差替代对数似然比,解决多流信号快速变化检测与故障隔离中高维复杂模型下传统似然比方法计算困难的问题,并给出延迟、虚警及故障误识别概率的理论分析。
2025-11-06 eess.SP math.ST stat.ME
Scalable SUM-Shrinkage Schemes for Distributed Monitoring Large-Scale Data Streams
在这篇文章中,出于生物监视和审查传感器网络,我们研究了分布式监测大规模数据流的问题,其中一个不期望的事件可能会发生在一些未知的时间,只影响少数未知的数据流。我们建议开发可扩展的全球监测计划,并行运行本地检测程序,并结合这些本地程序在一起,使一个全球性的决定基于SUM收缩技术。我们的方法说明了在两个具体的例子:一个是非齐次的情况下,当改变前和改变后的局部分布,另一个是监测大量的独立的$N(0,1)$数据流的平均值可能会转移到未知的正值或负值的齐次情况。数值模拟研究表明,所提出的计划的有效性。
2016-03-29 math.ST stat.ME stat.TH
Robust Quickest Change Detection in Multi-Stream Non-Stationary Processes
针对多流非平稳过程中变化前后分布时变且未知的问题,提出基于各流最不利分布律的鲁棒最快变化检测算法,并通过公共卫生、航空场景的模拟与真实数据验证其最优性和有效性。
2024-11-27 stat.ME
A Mixture-of-Experts Framework for Multi-Stream Quickest Change Detection
University of Pittsburgh(匹兹堡大学);Augusta University(奥古斯塔大学);Duke University(杜克大学)
本文提出混合专家(MoE)框架用于多流最快变化检测(QCD),该框架生成的算法性能优于现有最优的秩加权和(RWS)方案,经仿真实验在两类数据集上得到验证。
2026-10-16 eess.SP stat.ME stat.ML
Online Updating Huber Robust Regression for Big Data Streams
针对大数据流内存受限且含异常值的问题,本文提出Online Updating Huber Robust Regression算法,通过提取新数据特征实现无需历史数据的高效在线更新,兼具稳健性与低计算复杂度,且与Oracle估计量渐近等价。
2023-06-28 stat.ME
Online Detection of Sparse Changes in High-Dimensional Data Streams Using Tailored Projections
当应用主成分分析(PCA)进行降维时,通常使用变化最大的投影以保留大部分信息。然而,为了异常和变化检测的目的,变化最小的投影通常是最重要的投影。在这篇文章中,我们提出了一种新的方法,自动调整选择的投影监测稀疏变化的平均值和/或协方差阵的高维数据。变化最小的投影的子集几乎总是基于投影对变化的敏感性的标准来选择。我们的重点是在线/顺序变化检测,目的是尽可能快地检测变化,同时将假警报控制在指定的水平。量身定制的PCA和广义对数似然监测程序的组合显示出高效率的检测,即使是非常稀疏的变化的均值,方差和相关性。我们在真实数据上证明,当数据流高度自相关和非正态时,量身定制的PCA监测对于稀疏变化检测也是有效的。值得注意的是,在没有大的验证集的情况下实现了错误控制,这在大多数现有方法中是需要的。
2019-08-06 stat.ME stat.ML
Change Detection in a Dynamic Stream of Attributed Networks
虽然静态网络中的异常检测已经得到了广泛的研究,但直到最近,研究人员才将重点放在动态网络上。这种趋势主要是由于动态网络在表示复杂的物理,生物,网络和社会系统的能力。本文提出了一种新的方法,用于建模和监测的动态属性网络的快速检测的时间变化的网络结构。在该方法中,广义线性模型(GLM)被用来建模静态属性网络。然后将该模型与状态转移方程相结合,以捕获系统的动态行为。扩展卡尔曼滤波器(EKF)被用作一个在线的,递归推理过程来预测和更新网络参数随时间的推移。为了检测边缘形成的潜在机制的变化,预测残差通过指数加权移动平均(EWMA)控制图进行监测。建议的建模和监控程序进行检查,通过模拟属性二进制和加权网络。以安然公司的电子邮件通信数据为例,说明了该方法在实际问题中的应用。
2017-11-13 stat.ME
Targeted Event Detection
我们认为,事件检测的基础上(通常是多变量)的数据流表征一些系统的问题。大多数时候,系统是静止的--没有任何感兴趣的事情发生--但偶尔会发生感兴趣的事件。事件检测的目标是在事件发生后尽快发出警报。解决事件检测问题的一个简单方法是寻找数据流中的变化,并将“变化”等同于“事件开始”。但是,流中可能有许多类型的变化是不感兴趣的。我们假设我们得到了流的一个片段,其中有趣的事件已经被标记。我们提出了一种方法,使用这些训练数据来构建一个“有针对性的”检测器,该检测器对感兴趣的事件的发生信号的变化特别敏感。
2010-03-14 physics.data-an stat.ME
Distribution-free root cause analysis
Carnegie Mellon University(卡内基梅隆大学)
本文研究了多流数据中无需分布的根因分析问题,提出了一种新的框架CROC,能够在最小假设下为根因指数构建有限样本有效的置信集,并证明了任何无需分布的根因定位方法都可以在CROC框架内表示。
2026-05-20 stat.ME stat.ML
Towards the interpretation of time-varying regularization parameters in streaming penalized regression models
高维流数据集在现代应用中无处不在。例子从金融和电子商务到生物医学和神经成像数据的研究。因此,已经提出了许多新的算法来解决这些数据集带来的挑战。在这项工作中,我们专注于使用$\ell_1$正则化线性模型的上下文中(可能是非平稳的)流数据最近,人们已经注意到,正则化参数的选择是基本的,在这样的模型和几种方法已经提出了迭代调整这样的参数在一个~随时间变化的方式,从而允许潜在的稀疏估计模型的变化。此外,在许多应用中,对正则化参数的推断本身可能是感兴趣的,因为这样的参数与模型的底层\textit{sparsity}相关。然而,在这项工作中,我们强调并提供了大量的经验证据,说明数据中的各种(通常不相关的)统计特性如何导致正则化参数的变化。特别是,通过各种合成实验,我们证明了正则化参数的变化可能是由真实的底层稀疏性,信噪比甚至模型误指定的变化所驱动的。因此,这封信的目的是突出和编目各种统计性质,诱导相关的正则化参数的变化。最后,我们提出了两个应用程序:一个涉及金融数据和神经成像数据,在上述讨论是相关的。
2020-09-25 stat.ME
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences(数学科学学院);School of Future Science and Engineering(未来科学与工程学院)
本文提出了一种双通道架构,用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应,通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME