Online Missing Value Imputation and Change Point Detection with the Gaussian Copula
Cornell University(康奈尔大学)
缺失值插补对于现实世界的数据科学工作流程至关重要。在线环境中的估算更难,因为它要求估算方法本身能够随着时间的推移而发展。对于实际应用,插补算法应该产生与真实数据分布相匹配的插补,处理混合类型的数据,包括有序,布尔和连续变量,并扩展到大型数据集。在这项工作中,我们开发了一个新的在线插补算法的混合数据使用高斯copula。在线高斯Copula模型满足所有的需求:即使对于混合数据,其估算也与数据分布相匹配,当流数据具有变化的分布时,其离线对应物的准确性有所提高,特别是在大规模数据集上的速度(高达一个数量级)。通过对在线数据拟合Copula模型,我们还提供了一种新的方法来检测具有缺失值的多元相关结构中的变点。仿真和真实数据的实验结果验证了所提出的方法的性能。
2021-12-15 cs.LG stat.ML
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University(奥胡斯大学)
本文介绍了Continual Inference,一个在PyTorch中实现CINs的Python库,专为在线和批处理场景的高效推理设计,并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
Fabrik: An Online Collaborative Neural Network Editor
Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院);Inmobi;Facebook AI Research(Facebook人工智能研究院)
我们介绍Fabrik,一个在线神经网络编辑器,它提供了从浏览器中可视化、编辑和共享神经网络的工具。Fabrik提供了一个简单直观的GUI,用于导入在流行的深度学习框架(如Caffe、Keras和TensorFlow)中编写的神经网络,并允许用户通过简单的拖放与模型交互、构建和编辑模型。Fabrik被设计为与框架无关并支持高互操作性,可用于将模型导出回任何支持的框架。最后,它提供了强大的协作功能,使用户能够远程和大规模地进行模型设计。
2018-10-27 cs.AI cs.CV cs.LG
Greedy online change point detection
Google(谷歌);Advanced Center for Electrical and Electronic Engineering(高级电气与电子工程中心);Center for Mathematical Modeling(数学建模中心)
针对在线变点检测易受异常值影响、错误发现率高的问题,提出 GOCPD,通过最大化双独立模型时间拼接的数据概率定位变点,并利用单峰性以三分搜索实现对数复杂度。
2023-08-14 cs.LG eess.SP stat.ML
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
Memory-free Online Change-point Detection: A Novel Neural Network Approach
University of Twente(特文特大学);Eindhoven University of Technology(埃因霍温理工大学);University of Luxembourg(卢森堡大学)
本文提出无记忆在线无监督变点检测方法 ALACPD,通过自适应 LSTM 自编码器持续学习多维流数据,并在多个真实基准上取得领先分割质量与最佳级变点精度。
2023-12-06 cs.AI cs.LG
Online Change Points Detection for Linear Dynamical Systems with Finite Sample Guarantees
Purdue University(普渡大学)
针对具有未知动态和多个变点的线性动力系统,提出一种带数据依赖阈值的在线变点检测方法,给出虚警概率和检测概率的有限样本界,并指导最小变化间隔以保证检测。
2023-11-30 cs.LG cs.SY eess.SY
Online Adversarial Knowledge Distillation for Graph Neural Networks
College of Computer Science, Zhejiang University(浙江大学计算机学院);ZJU-Bangsun Joint Research Center(浙大-邦讯联合研究中心);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院)
针对图结构演化导致的分布偏移问题,本文提出在线对抗知识蒸馏方法,通过协同训练多个 GNN 并迁移局部与全局知识提升泛化性能。
2024-12-05 cs.AI cs.LG
Online Robust Principal Component Analysis with Change Point Detection
SAS Institute(SAS研究所);Shanghai Jiao Tong University(上海交通大学)
鲁棒PCA方法通常是批处理算法,需要在处理之前将所有观测加载到内存中。这使得他们处理大数据的效率低下。本文提出了一种有效的在线鲁棒主成分分析方法,即在线移动窗口鲁棒主成分分析(OMWRPCA)。与现有的算法不同,OMWRPCA不仅可以成功地跟踪缓慢变化的子空间,也可以跟踪突变的子空间。通过在算法中嵌入假设检验,OMWRPCA可以检测到底层子空间的变化点。大量的仿真研究表明,OMWRPCA的优越性能相比,其他国家的最先进的方法。我们还将该算法应用于监控视频的实时背景减除。
2017-03-20 cs.CV cs.LG stat.AP
Online change-point detection for a transient change
我们考虑一个流行的在线变点问题,检测i.i.d.分布的瞬态变化。随机变量。针对这一变点问题,给出了几种变点求解方法,并对其中一种方法的一些先进结果进行了综述。提供了一些新的近似的平均游程长度虚警和功率的这些程序用于检测一个正常的随机变量序列的平均值的瞬态变化进行了比较。
2021-04-06 math.ST stat.TH
Bayesian Online Change Point Detection for Baseline Shifts
Intel K.K.(英特尔株式会社)
在时间序列数据分析中,实时(在线)检测变化点在许多领域都有很大的兴趣,例如金融,环境监测和医学。一个有前途的手段来实现这一点是贝叶斯在线变化点检测(BOCPD)算法,这已成功地通过在特定的情况下,其中的时间序列的利益有一个固定的基线。然而,我们已经发现,当基线不可逆地从其初始状态转移时,该算法会出现问题。这是因为使用原始BOCPD算法,如果数据点在相对远离原始基线的位置处波动,则可以检测到变化点的灵敏度降低。在本文中,我们不仅扩展了原来的BOCPD算法适用于一个时间序列,其基线是不断向未知值,但也可视化为什么建议的扩展工程。为了证明所提出的算法的有效性相比,原来的,我们研究这些算法在两个真实世界的数据集和六个合成数据集。
2022-01-07 cs.LG stat.AP stat.ML
Noise-contrastive Online Change Point Detection
HSE University(俄罗斯联邦高等经济学院);ETH Zürich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);SB Robotics(SB机器人)
本文提出了一种新的在线突变点检测方法,通过最大化预突变与后突变分布之间的差异度,设计出适用于参数和非参数场景的灵活算法,并通过数值实验验证了其效率。
2026-03-21 cs.LG math.ST stat.ME
Neural network-based CUSUM for online change-point detection
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
针对经典CUSUM变点检测需预知变点后分布、高维场景下性能受限的问题,提出神经网络CUSUM(NN-CUSUM)方法,结合神经正切核理论给出性能保证,实验验证其在高维数据变点检测中的优异表现。
2024-03-09 cs.LG stat.ME stat.ML
Fuzzy Artmap and Neural Network Approach to Online Processing of Inputs with Missing Values
School of Electrical and Information Engineering, University of the Witwatersrand(威特沃特斯兰德大学电气与信息工程学院)
提出了一种基于集成的方法来处理缺失数据,而不需要预测或估算缺失值。该技术适用于神经网络的在线运算,因而可用于在线状态监测。所提出的技术进行了测试,在分类和回归问题。模糊ARTMAPs的集成用于分类,而多层感知器的集成用于回归问题。使用这种集成为基础的技术得到的结果进行比较,使用自联想神经网络和遗传算法和研究结果的组合,这种方法可以执行高达9%更好的回归问题。所提出的技术的另一个优点是,它消除了寻找数据的最佳估计的需要,因此节省了时间。
2007-05-08 cs.AI
Modeling Ideological Salience and Framing in Polarized Online Groups with Graph Neural Networks and Structured Sparsity
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
网络政治话语的日益两极分化需要自动检测和监控社交媒体中意识形态分歧的计算工具。我们引入了一种最低限度的监督方法,利用网络结构的在线论坛,特别是Reddit,检测极化的概念。我们沿着显着性和框架的维度模型极化,借鉴道德心理学的见解。我们的架构将图神经网络与结构化稀疏学习相结合,并产生概念和子reddits的表示,以捕获右翼和左翼激进化等时间意识形态动态。
2022-12-14 cs.AI cs.CL cs.SI
Block-Wise Dynamic-Precision Neural Network Training Acceleration via Online Quantization Sensitivity Analytics
Tsinghua University(清华大学)
数据量化是加速神经网络训练和降低功耗的有效方法。然而,它是具有挑战性的执行低比特量化训练:传统的等精度量化将导致高精度损失或有限的位宽减少,而现有的混合精度方法提供了高压缩潜力,但无法执行准确和有效的位宽分配。在这项工作中,我们提出了DYNASTY,逐块动态精度神经网络训练框架。DYNASTY通过快速在线分析提供准确的数据敏感度信息,并通过自适应位宽映射生成器保持稳定的训练收敛。在CIFAR-100和ImageNet数据集上进行了网络训练实验,与8位量化基线相比,DYNASTY在不降低精度和硬件开销的情况下,提高了$5.1\times$的速度,降低了$4.7\times$的能耗。
2022-10-31 cs.AI cs.LG eess.IV
Spiking Neural Networks and Online Learning: An Overview and Perspectives
TECNALIA(泰克纳利亚研究中心);Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM));University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU));Télécom ParisTech(巴黎高等电信学院);University of Waikato(怀卡托大学);Auckland University of Technology (AUT)(奥克兰理工大学(AUT))
以快速流的形式生成大量数据的应用程序变得越来越普遍,因此有必要以在线方式学习。这些条件通常会强加内存和处理时间限制,并且它们通常会变成不断变化的环境,其中更改可能会影响输入数据分布。这种变化导致在这些流数据上训练的预测模型变得过时,并且不能适当地适应新的分布。特别是在这些非平稳的情况下,迫切需要新的算法,以适应这些变化尽可能快,同时保持良好的性能分数。不幸的是,大多数现成的分类模型如果用于不断变化的环境中,则需要重新训练,并且无法正确扩展。脉冲神经网络是模拟大脑行为和学习潜力的最成功的方法之一,并利用它们来承担实际的在线学习任务。此外,脉冲神经网络的一些特定风格可以克服漂移发生后重新训练的必要性。这项工作旨在通过作为一个全面的概述,促进进一步的发展,拥抱脉冲神经网络的在线学习的情况下,并作为一个友好的切入点,为非专家合并这两个领域。
2019-07-23 cs.AI cs.LG cs.NE
A Temporal Neural Network Architecture for Online Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
一个长期存在的主张是,通过模拟大脑新皮层的操作,脉冲神经网络(SNN)可以实现类似的理想功能:灵活的学习,速度和效率。时间神经网络(TNN)是通信和处理编码为相对尖峰时间(与尖峰速率相反)的信息的SNN。提出了一个TNN架构,并作为一个概念验证,TNN操作演示在线监督分类的更大的背景下。首先,通过无监督学习,TNN基于相似性将输入模式划分为聚类。然后,TNN将聚类标识符传递给一个简单的在线监督解码器,该解码器完成分类任务。TNN学习过程通过仅使用每个突触本地的信号来调整突触权重,并且全局地出现聚类行为。在一个抽象级上描述系统架构,该抽象级类似于传统数字设计中的门和寄存器传输级。除了整体架构的特点,几个TNN组件是新的这项工作。虽然没有直接解决,总体研究目标是一个直接的硬件实现的TNN。因此,所有的架构元素都很简单,并且以非常低的精度进行处理。
2021-02-22 cs.AI cs.LG cs.NE
Bayesian online collective anomaly and change point detection in fine-grained time series
本研究提出贝叶斯框架及递归在线推理算法,联合检测细粒度时间序列中的集体异常与变点,并通过集体异常移除将复杂度降至线性,实验验证了其有效性。
2025-08-08 stat.ME
A Constant-per-Iteration Likelihood Ratio Test for Online Changepoint Detection for Exponential Family Models
基于似然比检验的在线变点检测算法已被证明具有优良的统计特性。然而,简单的在线实现在计算上是不可行的,因为在时间$T$,它涉及考虑用于改变的$O(T)$可能位置。最近,已经引入了FOCuS算法来检测高斯数据中的均值变化,该算法将每次迭代的成本降低到$O(\log T)$。这通过使用修剪思想是可能的,修剪思想将需要在时间$T$处考虑的变点位置的集合减少到大约$\log T$。我们表明,如果一个人希望执行一个不同的单参数指数族模型的似然比检验,那么完全相同的修剪规则可以使用,并再次只需要考虑大约$\log T$位置在迭代$T$。此外,我们展示了如何自适应地执行算法的最大化步骤,这样我们只需要在这些可能的位置的一个小子集上最大化检验统计量。实证结果表明,所产生的在线算法,它可以检测到各种模型下的变化,具有恒定的每次迭代的平均成本。
2023-02-09 stat.CO stat.ME stat.ML
Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction
Georgia Institute of Technology(佐治亚理工学院)
本文提出CLURSNN模型,结合STDP、随机延迟嵌入和基于Wasserstein距离的拓扑数据分析,实现能量与数据高效的在线无监督时间序列预测,并在Lorenz63系统上优于现有DNN方法。
2023-05-31 cs.AI cs.LG cs.NE
Online Multi-Agent Forecasting with Interpretable Collaborative Graph Neural Network
Shanghai Jiao Tong University(上海交通大学);University of California Irvine(加州大学欧文分校);University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所)
本文考虑预测未来的状态,多个代理在网上的方式,利用系统中的动态交互。我们提出了一种新的协作预测单元(CoPU),它根据协作图聚合来自多个协作预测器的预测。每个协作预测器都经过训练,通过考虑另一个代理的影响来预测代理的状态。协作图的边权重反映了每个预测器的重要性。协同图的在线调整乘法更新,这可以通过最小化一个显式目标的动机。为了实现这一目标,我们还进行了遗憾分析,以表明随着训练的进行,我们的CoPU在事后与最佳个人协作预测器实现了类似的性能。这种理论上的可解释性将我们的方法与许多其他图网络区分开来。为了逐步完善预测,多个CoPU被堆叠以形成协作图神经网络。在三个任务上进行了大量的实验:在线模拟轨迹预测,在线人体运动预测和在线交通速度预测,我们的方法在这三个任务上的平均性能分别超过最先进的作品28.6%,17.4%和21.0%。
2021-07-02 cs.AI
A Log-Linear Non-Parametric Online Changepoint Detection Algorithm based on Functional Pruning
本文提出非参数在线变点检测算法NP-FOCuS,利用经验累积密度函数和函数剪枝实现对数线性计算成本,在多种场景下检测功效优于现有非参数方法。
2024-01-11 stat.CO stat.ME stat.ML
High-dimensional, multiscale online changepoint detection
我们介绍了一种新的方法,高维,在线变点检测设置中的$p$变量高斯数据流可能会发生变化的意思。该过程的工作原理是对每个坐标中不同尺度的简单替代品执行似然比检验,然后聚合尺度和坐标上的检验统计量。该算法是在线的,因为它的存储需求和每个新观测的最坏情况计算复杂度都与先前观测的数量无关;在实践中,它甚至可能比这快得多。我们证明了耐心,或平均运行长度下的空,我们的程序至少在所需的标称水平,并提供保证其响应延迟下的替代方案,依赖于稀疏的向量的平均变化。模拟证实了我们的建议,这是在R包'ocd'实施的实际有效性,我们也证明了它的效用地震数据集。
2020-10-10 math.ST stat.CO stat.ME
PERCEPT: a new online change-point detection method using topological data analysis
拓扑数据分析(TDA)提供了一套数据分析工具,用于从复杂的高维数据集中提取嵌入的拓扑结构。近年来,TDA已经成为一个快速发展的领域,在广泛的应用中取得了成功,包括信号处理,神经科学和网络分析。在这些应用中,变化的在线检测至关重要,但这可能具有高度挑战性,因为此类变化通常发生在高维数据流中的低维嵌入中。因此,我们提出了一种新的方法,称为基于持久性的变化点检测(PERCEPT),它利用从TDA学习的拓扑结构,顺序检测变化。PERCEPT遵循两个关键步骤:它首先通过持久性图学习作为点云的嵌入式拓扑,然后应用非参数监测方法来检测所得到的点云分布中的变化。这产生了一个非参数的,拓扑感知的框架,可以有效地检测在线变化,从高维数据流。我们调查的有效性的感知现有的方法在一套数值实验中的数据流有一个嵌入式的拓扑结构。然后,我们证明了在太阳耀斑监测和人体姿态检测的两个应用程序中的有效性的感知。
2022-03-08 math.AT stat.AP stat.ME
Online Learning of Wheel Odometry Correction for Mobile Robots with Attention-based Neural Network
Politecnico di Torino(都灵理工大学)
本文提出一种基于注意力神经网络的轮式里程计在线校正方法,以应对车轮打滑和运动突变,实现实时推理,性能优于标准神经网络和滤波校正算法,并支持在通用机器人平台上即时部署。
2023-03-21 cs.AI cs.RO
Online Kernel CUSUM for Change-Point Detection
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种高效的在线核CUSUM方法,用于检测变更点,通过最大核统计量提高对小变化的敏感性,并通过递归计算实现恒定的计算和内存复杂度。
2026-01-06 math.ST stat.ME stat.ML
Inference in high-dimensional online changepoint detection
我们介绍和研究了两个新的推理挑战与高维均值向量的变化的顺序检测。首先,我们寻求一个置信区间的变化点,其次,我们估计的一组指数的坐标的均值变化。我们提出了一种在线算法,产生一个有保证的标称覆盖范围的间隔,其长度是,具有很高的概率,平均检测延迟相同的顺序,对数因子。相应的支持度估计可以控制假阴性和假阳性。模拟证实了我们方法的有效性,我们还说明了其对2017- 2020年美国超额死亡数据的适用性。
2023-03-02 math.ST stat.ME stat.TH
Max-Type and Sum-Type Procedures for Online Change-Point Detection in the Mean of High-Dimensional Data
我们提出了两个程序来检测高维在线数据的平均值的变化。一种是基于最大型U-统计量,另一种是基于求和型U-统计量。这两个程序的理论性质进行了探讨,在高维设置。更准确地说,我们得到他们的平均游程长度(ARLs)时,没有变化点,和预期的检测延迟(EDDs)时,有一个变化点。仿真研究证实了理论结果的准确性。通过检测PM2.5浓度的突然变化证明了所提出的程序的实际使用。目前的研究试图扩展的结果,先前建立的单变量设置中的EQUIUM和Shiryayev-Roberts程序。
2021-07-26 stat.ME
Utility Change Point Detection in Online Social Media: A Revealed Preference Framework
本文研究了在线社交媒体中效用最大化行为的变化检测。这种变化是由于市场营销、广告或地面实况变化的影响而发生的。首先,我们使用显示偏好框架来检测效用函数发生变化的未知时间点(变化点)。我们推导出检测变点的充要条件。其次,在存在噪声测量的情况下,我们提出了一种方法来检测变化点,并构造一个决策测试。此外,提供了一个优化标准,以恢复线性扰动系数。最后,为了减少计算量,提出了一种基于Johnson-Lindenstrauss变换的降维算法。开发的结果说明了两个真实的数据集:雅虎!Tech Buzz数据集和Youstatanalyzer数据集通过使用本文中开发的结果,可以从这些数据集中收集到一些有用的见解。首先,影响代理效用的地面实况的变化可以通过在线搜索中的效用最大化行为来检测。第二,恢复的效用函数满足单交叉性质,表明在线搜索中的策略替代行为。第三,由于YouTube上有大量的视频,通过降维算法验证了效用最大化行为。最后,利用在低维中恢复的效用函数,我们设计了一个算法来预测YouTube的总流量。
2016-12-16 math.ST stat.TH
Online High-Dimensional Change-Point Detection using Topological Data Analysis
拓扑数据分析(TDA)是一个快速发展的领域,它研究学习复杂数据表示中的底层拓扑结构的方法。TDA方法最近在提取有用的几何结构方面取得了成功,用于广泛的应用,包括蛋白质分类、神经科学和时间序列分析。然而,在许多这样的应用中,人们也对顺序地检测该拓扑结构中的变化感兴趣。我们提出了一种新的方法,称为持久性图的变化点(PD-CP),它解决了这个问题,通过整合广泛使用的持久性图在TDA与非参数变化点检测的最新发展。PD-CP的关键新颖之处在于它利用持久性图上的点的分布来在线检测拓扑变化。我们证明了PD-CP在太阳耀斑监测应用中的有效性。
2021-03-07 math.AT stat.ME stat.OT
Locally private online change point detection
我们研究在线变点检测问题的约束下的局部差分隐私(LDP),特别是,统计学家没有访问的原始数据。作为一个具体问题,我们研究了一个多元非参数回归问题。在每个时间点$t$,假定原始数据的形式为$(X_t, Y_t)$,其中$X_t$是$d$维特征向量,$Y_t$是响应变量.我们的主要目标是在回归函数$m_t(x)=\mathbb{E}(Y_t |X_t=x)$发生变化时立即检测出变化。我们提供的算法,尊重LDP约束,控制虚警概率,并检测变化与最小(最小最大速率优化)延迟。为了量化隐私的成本,我们还提出了在基准,非私人设置的最佳速率。这些非私有的结果也是新的文献,因此是有趣的\emph{per se}。此外,我们研究了隐私约束下的单变量均值在线变点检测问题。这为研究更复杂的私有变点检测问题提供了基础。
2021-10-21 math.ST stat.ME stat.TH
BLAST: Bayesian online change-point detection with structured image data
本文提出BLAST方法,利用深度高斯马尔可夫随机场先验和后验游程长度分布,实现结构化图像数据的可扩展贝叶斯在线变点检测,并在街景监控和金属增材制造中验证其有效性。
2025-04-14 stat.CO stat.ME
A communication-efficient, online changepoint detection method for monitoring distributed sensor networks
针对分布式传感器网络需低通信检测变化的问题,提出基于双阈值似然比检验的在线方法,并证明其渐近性质,可在大幅降低传输成本时达到接近无通信约束的性能。
2024-04-09 stat.ME
Online change point detection under heavy-tailedness and contamination
University of Warwick(华威大学);University of Birmingham(伯明翰大学)
针对动态Huber污染模型,提出在线鲁棒均值变点检测方法,在单变量中划分参数空间实现最优检测延迟,多变量中设计鲁棒均值检验程序,首次同时处理Huber污染和重尾性。
2026-06-08 math.ST stat.TH
Online Change-Point Detection in High-Dimensional Covariance Structure with Application to Dynamic Networks
在本文中,我们开发了一个在线的高维数据的协方差结构中的变点检测过程。提出了一种新的停止规则,当协方差结构发生变化时,可以尽早终止该过程。停止规则允许时间依赖性,并且可以应用于非高斯数据。推导出了平均游程长度的显式表达式,使得停止规则中的阈值水平可以很容易地得到,而不需要运行耗时的蒙特卡罗模拟。我们还建立了一个上限的预期检测延迟(EDD),其表达式演示了数据依赖性和变化幅度的协方差结构的影响。仿真研究证实了理论结果的准确性。所提出的程序的实际用途是通过检测大脑的协方差网络在静息状态的功能磁共振成像数据集的变化。
2020-03-11 stat.ME
A Note on Online Change Point Detection
我们研究了单变量非参数设置中的顺序变化点估计和检测,其中收集了来自亚高斯分布的独立观测值流,具有公共方差因子和分段常数,但其他均值未知。我们开发了一个简单的基于ARMUM的方法,可证明控制误报的概率或平均运行长度,同时最大限度地减少,在极大极小的意义上,检测延迟。我们允许所有的模型参数变化,以捕捉广泛的水平的统计硬度的问题。我们进一步展示了我们的方法是如何适用于多个变化点的情况下,估计顺序。
2020-11-13 math.ST stat.TH
A spectral approach for online covariance change point detection
University of Hong Kong(香港大学);Hong Kong University of Science and Technology(香港科技大学)
本文提出基于谱方法的在线协方差变化点检测方法,利用随机矩阵理论构建CUSUM型统计量,实现对变化点的高效检测。
2026-01-30 math.ST stat.ME stat.TH
Online Change-point Detection for Matrix-valued Time Series with Latent Two-way Factor Structure
提出了一种在线检测大矩阵时间序列因子结构变化点的新方法。我们的方法是基于众所周知的事实,即在存在一个变点,因子模型可以被重写为一个模型与大量的共同因素。反过来,这意味着,在存在变点的情况下,数据的二阶矩矩阵中的尖峰特征值的数量增加。在此基础上,我们提出了两个家庭的程序-一个基于波动的部分和,和一个基于极值理论-监测是否第一个非尖峰特征值发散后的一个时间点在监测范围内,从而表明存在一个变点。我们的程序是只基于率,在每个时间点,我们随机估计的特征值,从而获得一个正态分布的序列,这是$i.i.d.$与平均零下的零零没有休息,而它发散到正无穷的存在一个变点。我们的监测程序就是以这种顺序为基础的。大量的模拟研究和实证分析证明了理论的正确性。
2021-12-27 stat.ME
Optimality of Graph Scanning Statistic for Online Community Detection
图的序列变点检测是流网络数据类型的基本问题,在社交网络和电力系统中有着广泛的应用。给定固定顶点和随机图序列,目标是检测随机图的潜在分布变化的变点。特别是,我们专注于局部变化,只影响一个子图。我们采用经典的Erdos-Renyi模型,并重温广义似然比(GLR)检测过程。扫描统计是通过顺序估计最可能发生变化的子图来计算的。我们提供了理论分析的渐进最优性的基础上GLR框架的建议程序。我们证明了我们的检测算法的效率,使用模拟。
2021-02-11 math.ST stat.TH
Online Causal Structure Learning in the Presence of Latent Variables
University of York(约克大学)
我们提出了两个在线因果结构学习算法,可以跟踪因果结构的变化,并以动态实时的方式处理数据。标准的因果结构学习算法假设因果结构在数据汇集过程中不会改变,但在现实世界的场景中,它经常改变。因此,用现有的批量学习方法来处理这种变化是不合适的,相反,应该以在线方式学习结构。我们在这里提出的在线因果结构学习算法可以在不重新处理整个数据集的情况下修改相关值,并使用现有模型来避免重新学习先前模型中的因果链接,这些链接仍然适合数据。建议的算法进行测试合成和现实世界的数据集,后者是一个季节性调整的商品价格指数数据集为美国的在线因果结构学习算法优于标准FCI的大幅度学习变化的因果结构正确和有效地当潜在变量存在。
2019-07-14 cs.AI cs.LG stat.ML
Bayesian Online Prediction of Change Points
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);TU Darmstadt(达姆施塔特工业大学)
在线检测数据序列生成过程中的瞬时变化通常集中在对这些变化点的回顾性推断上,而不考虑它们未来的出现。我们扩展了贝叶斯在线变化点检测算法,以推断直到下一个变化点的时间步长的数量(即,剩余时间)。这使得能够处理依赖于总段持续时间的观察模型,这对于用时间缩放来建模数据序列是有用的。由此产生的推理算法段检测可以部署在一个在线的方式,我们说明了应用程序的合成和两个医疗现实世界的数据集。
2020-06-24 cs.LG stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology(以色列理工学院)
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而,他们在在线学习任务中的表现和概括能力却鲜为人知。因此,我们专注于在线学习,并解决具有挑战性的问题,其中底层过程是平稳和遍历的,从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力,并表明通过使用这些网络,可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
Two geometric input transformation methods for fast online reinforcement learning with neural nets
University of Alberta(阿尔伯塔大学)
我们将带有ReLU门的神经网络应用于在线强化学习。我们的目标是以增量的方式训练这些网络,而不需要计算上昂贵的经验重放。通过研究单个神经节点在在线训练中的行为,我们认识到ReLU门的全局性质可能会对每个节点的学习行为造成不良的学习干扰。我们建议使用两种有效的输入变换方法来减少这种干扰,这两种方法本质上是几何的,并且与ReLU门的几何属性很好地匹配。第一种是瓦片编码,这是一种经典的二进制编码方案,最初设计用于基于输入空间的拓扑结构的局部泛化。第二种方法(EmECS)是我们提出的一种新方法,它基于凸集的几何性质和输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换输入上运行时的行为。我们还将其与一些不使用相同输入变换的神经网络进行了实验比较,并与经典的瓦片编码算法加上线性函数逼近器进行了比较,并在几个在线强化学习任务中,我们表明,瓦片编码或EmECS的神经网络不仅可以实现更快的学习,而且可以实现更准确的逼近。我们的研究结果强烈表明,这种类型的几何输入变换可以有效地减少干扰,使我们更接近完全增量强化学习与神经网络。
2018-09-06 cs.AI cs.LG stat.ML
Stein Variational Online Changepoint Detection with Applications to Hawkes Processes and Neural Networks
G-Research;Monash University(莫纳什大学)
贝叶斯在线变点检测(BOCPD)(Adams & MacKay,2007)提供了一种严格可行的方法来识别复杂系统中的变点。在这项工作中,我们引入了Stein变分在线变点检测(SVOCD)方法,以提供一个计算上易于处理的概括BOCPD超出指数家庭的概率分布。我们集成了最近开发的Stein变分牛顿(SVN)方法(Detommaso等人,2018年)和BOCPD提供了一个完整的在线贝叶斯处理大量的情况下,在实践中具有重要意义。我们将所得方法应用于两个具有挑战性的新颖应用:Hawkes过程和长短期记忆(LSTM)神经网络。在这两种情况下,我们成功地证明了我们的方法对真实数据的有效性。
2019-05-25 cs.LG stat.ML
Modelling customer online behaviours with neural networks: applications to conversion prediction and advertising retargeting
GMF Assurances, Groupe Covéa(GMF保险公司,科维亚集团)
在本文中,我们将神经网络应用到数字营销世界中,以更好地定位潜在客户。为此,我们使用专用神经网络架构对客户在线行为进行建模。从用户在搜索引擎中搜索关键字开始到着陆页和不同的后续页面,直到用户离开网站,我们用递归神经网络(RNN)和卷积神经网络(CNN)对整个访问过程进行建模,该网络可以考虑用户搜索关键字和不同访问页面名称的语义。在此模型下,我们使用蒙特卡罗模拟来估计每个潜在客户在未来访问中的转化率。我们相信我们的概念和本文中初步的有希望的结果能够使用大量可用的客户在线行为数据进行高级数字营销分析。
2018-04-20 cs.LG stat.ML
A Change Dynamic Model for the Online Detection of Gradual Change
Cornell University(康奈尔大学)
随机过程的统计特性的变化通常被假设为通过变点发生,变点区分过程行为的完全和全部变化的瞬时时刻。在这些过渡逐渐发生的情况下,这种假设可能会导致适当识别和响应流程变更的能力降低。考虑到这一点,我们引入了一种新的变化动态模型的贝叶斯框架中的渐变的在线检测,其中变点使用在一个分层模型,以指示时刻的渐变开始或终止。我们将此模型应用于癫痫发作期间绘制的合成数据和EEG读数,我们发现我们的变化动态模型可以比传统的变点模型更快,更准确地识别渐变。
2022-05-04 cs.LG stat.AP stat.ML
Online Changepoint Detection on a Budget
Splunk
变点是底层数据分布的突变。检测数据流中的变化是许多应用的重要问题。在本文中,我们感兴趣的变化点检测算法,在这个意义上,它的存储要求和最坏情况下的计算复杂性每个观察是独立的以前的意见的数量在一个在线设置。我们提出了一个在线的单变量和多变量数据的变点检测算法相比,毫不逊色,离线变点检测算法,同时也在严格的约束计算模型。此外,我们提出了一个简单的在线超参数自动调整技术,这些算法。
2022-01-11 cs.LG
Neural Online Graph Exploration
Technical University of Munich(慕尼黑工业大学)
我们能学会如何有效地探索未知空间吗?为了回答这个问题,我们研究了在线图探索问题,这是旅行商问题的在线版本。我们将图探索重新定义为一个强化学习问题,并应用直接未来预测(Dosovitskiy和Koltun,2017)来解决它。由于图是在线发现的,相应的马尔可夫决策过程需要一个动态状态空间,即可观察图和动态动作空间,即形成图的边界的节点。据我们所知,这是以数据驱动的方式解决在线图形探索的第一次尝试。我们进行实验的六个数据集的程序生成的图形和三个真实的城市道路网络。我们证明,我们的代理可以学习策略优于许多著名的图遍历算法,确认探索可以学习。
2021-04-06 cs.AI cs.LG
Confirmatory Bayesian Online Change Point Detection in the Covariance Structure of Gaussian Processes
Ulsan National Institute of Science and Technology(蔚山科学技术院)
在序列数据的分析中,突变的检测对于预测未来的变化非常重要。在本文中,我们提出了统计假设检验检测协方差结构的变化,局部光滑的高斯过程(GP)建模的时间序列。我们为测试提供了理论上合理的阈值,并通过确认统计上显著的变化和非变化来使用它们来改进贝叶斯在线变化点检测(BOCPD)。我们的解释性BOCPD(CBOCPD)算法发现多个结构断裂的GP,即使超参数没有精确调整。我们还提供了条件下,CBOCPD提供较低的预测误差相比,BOCPD。在合成和真实世界数据集上的实验结果表明,我们的新测试正确地检测到GP中协方差结构的变化。所提出的算法也优于现有的方法,在回归误差和对数似然预测的非平稳性。
2020-02-07 cs.LG stat.ML
Robust and Scalable Bayesian Online Changepoint Detection
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
提出一种在线、可证明鲁棒且可扩展的贝叶斯变点检测算法,利用广义贝叶斯和扩散分数匹配实现闭式共轭后验,速度比最接近方法快10倍以上。
2023-05-12 cs.LG stat.ML
Detecting and Adapting to Irregular Distribution Shifts in Bayesian Online Learning
University of California, Irvine(加州大学欧文分校)
我们考虑的问题,在线学习的分布变化,发生在一个未知的速度和未知的强度的存在。我们推导出一种新的贝叶斯在线推理方法,同时推断这些分布的变化,并通过整合变点检测,切换动力系统和贝叶斯在线学习的想法,使模型适应检测到的变化。使用一个二进制的“变化变量”,我们构建了一个信息丰富的先验,这样-如果检测到变化-模型部分删除过去的模型更新的信息,通过回火,以促进适应新的数据分布。此外,该方法使用波束搜索来跟踪多个变点假设,并在事后选择最可能的一个。我们提出的方法是模型不可知的,适用于监督和无监督学习设置,适用于概念漂移或协变量漂移的环境,并产生比最先进的贝叶斯在线学习方法的改进。
2021-10-26 cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems(赛博拉思系统公司)
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似,它对样本维度进行归一化。虽然联机规格化不使用批次,但它与批量归一化一样精确。我们解决了批量归一化的理论局限性,通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下,如递归网络,全连接网络,以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
Wide and Deep Graph Neural Networks with Distributed Online Learning
University of Pennsylvania(宾夕法尼亚大学);University of California, Berkeley(加州大学伯克利分校)
图神经网络(GNN)从具有自然分布式架构的网络数据中学习表示,使其非常适合分散式学习。通常情况下,这种分散的图支持由于链路故障或拓扑变化而随时间变化。这些变化在GNN训练的图形和测试的图形之间造成了不匹配。在线学习可用于在测试时重新训练GNN,从而克服这个问题。然而,大多数在线算法都是集中式的,并且处理凸问题(GNN很少导致凸问题)。本文提出了宽和深GNN(WD-GNN),一种新的架构,可以很容易地更新与分布式在线学习机制。WD-GNN由两部分组成:宽部分是一组线性图滤波器,深部分是GNN。在训练时,联合架构从数据中学习非线性表示。在测试时,深度部分(非线性)保持不变,而宽部分在线重新训练,导致凸问题。我们得到收敛保证这个在线再培训过程,并进一步提出了一个分散的替代方案。群集机器人群体控制的实验证实了理论和分布式在线学习的建议架构的潜力。
2020-10-24 cs.LG stat.ML