A functional-model-adjusted spatial scan statistic
本文介绍了一种新的空间扫描统计量,旨在调整集群检测的纵向混杂因素索引的空间。使用广义函数线性模型开发函数模型调整统计量,其中纵向混杂因素被视为函数协变量。一个通用的框架开发应用到各种概率模型。泊松模型的应用表明,新的方法是等效于传统的空间扫描统计,调整相关的人口协变量。在单变量和多变量模型的模拟研究中,我们发现我们的新方法比其他方法更准确地调整聚类检测过程。通过分析1998年至2013年期间法国过早死亡率的数据来说明新空间扫描统计数据的使用,其中季度失业率作为纵向混杂因素。
2019-03-04 stat.ME
Investigating spatial scan statistics for multivariate functional data
本文介绍了一种新的空间索引的多元函数数据的扫描统计量。新的方法是从MANOVA检验统计量的功能数据,适应的Hotelling T2-检验统计量,和多变量扩展的Wilcoxon秩和检验统计量。在仿真研究中,后两种方法表现出非常好的性能,功能MANOVA的适应也表现出良好的性能为正态分布。我们的方法检测更准确的空间集群比现有的非参数功能扫描统计。最后,我们应用多元函数数据的方法来搜索2020年5月和6月法国北部空气污染物日浓度异常的空间集群。
2021-03-26 stat.ME
A spatial scan statistical for categorical, functional data
Univ. Lille, CHU Lille, ULR 2694 - METRICS: Évaluation des technologies de santé et des pratiques médicales(里尔大学,里尔大学医院,ULR 2694 - 医疗技术和实践评估);Laboratoire Paul Painvelé UMR CNRS 8524, Inria-Datavers, University of Lille(保罗·潘勒瓦实验室(CNRS 8524联合研究单位),Inria-Datavers,里尔大学)
本文提出了一种新的空间扫描统计方法,用于识别分类和功能数据中的空间聚类,通过模拟研究和实际数据验证其有效性。
2026-03-02 stat.ME
A Bayesian shared-frailty spatial scan statistic model for time-to-event data
空间扫描统计是用于检测事件的空间集群的公知且广泛使用的方法。在时间-事件数据的空间分析领域,已经提出了几种扫描统计模型。然而,这些模型没有考虑到潜在的单位内的空间相关性的个人,也没有潜在的空间单位之间的相关性。为了克服这个问题,我们在这里提出了一个扫描统计的基础上Cox模型与共享的脆弱性,考虑到空间单元之间的空间相关性。在模拟研究中,我们已经表明,(i)经典模型的时间-事件数据的空间扫描统计无法保持第一类错误的存在下,空间内的单元相关性,和(ii)我们的模型表现良好,在空间内的单元相关性和空间间的单元相关性的存在。我们的方法已被应用于流行病学数据和空间集群的死亡率在法国北部的终末期肾病患者的检测。
2022-09-01 stat.ME
Calibrating the scan statistic with size-dependent critical values: heuristics, methodology and computation
已知具有可变窗口大小的扫描统计量有利于检测具有小空间范围的信号,并且对于具有大空间范围的信号存在相应的功率损失。最近的结果表明,这种损失并非不可避免:使用取决于窗口大小的临界值可以同时对所有信号大小进行最佳检测,因此不知道正确的窗口大小和使用可变的窗口大小进行扫描不会付出很大的代价。本文给出了这样的大小依赖的临界值,其应用程序的各种设置,包括多变量的情况下,和最近的结果有关的快速算法计算扫描统计的算法和方法的审查。
2022-02-14 stat.ME
Spatial Autoregressive Models for Scan Statistic
空间扫描统计是用于聚类检测的众所周知的方法,并且广泛用于流行病学和医学研究中,用于检测和评估疾病热点的统计显著性。为了简单起见,经典的空间扫描统计假设结果变量在不同位置的观测是独立的,而实际上数据可能表现出空间相关性。在本文中,我们使用空间自回归(SAR)模型来考虑参数/非参数扫描统计中的空间相关性。首先,在SAR模型中估计相关参数,以将结果转换为新的独立结果。其次,我们提出了一个自适应的空间扫描统计的基础上,这种独立的聚类检测的结果。仿真研究突出了更好的性能,所提出的方法比经典的存在空间相关的数据。后者显示出第一类错误和假阳性率的急剧增加,但也降低了真阳性率时,空间相关性增加。此外,我们的方法保留了第一类错误,并有稳定的真和假阳性率的空间相关性。所提出的方法说明了使用空间经济数据集的收入中位数在巴黎市。在这个应用程序中,我们表明,考虑到空间相关性导致识别更集中的集群比那些确定的经典空间扫描统计。
2019-11-22 stat.ME
New Insight of Spatial Scan Statistics via Regression Model
本文通过回归模型统一了基于期望和基于人群的空间扫描统计量,揭示其差异仅在于截距项的有无,并提出高斯和伯努利模型下的新统计量及基于L0惩罚的优化框架,可扩展至时空扫描和多聚集区检测。
2025-02-10 stat.ME
Detecting conflicting summary statistics in likelihood-free inference
贝叶斯无似然方法使用来自模型的数据的模拟来实现贝叶斯推断,以代替难以处理的似然评估。大多数无似然推断方法在执行贝叶斯推断之前用汇总统计量替换完整的数据集,并且该统计量的选择通常是困难的。出于计算原因,汇总统计量应该是低维的,同时保留尽可能多的参数信息。使用最近的想法,从可解释的机器学习文献,我们开发了一些基于回归的诊断方法,这是有用的检测时,不同部分的汇总统计向量包含冲突的信息模型参数。这种冲突使汇总统计量的选择复杂化,检测它们可以洞察模型的缺陷并指导模型改进。开发的诊断方法是基于回归方法的似然自由推理,其中回归模型估计后验密度使用汇总统计作为功能。在回归模型中删除和插补部分汇总统计量向量可以消除汇总统计量子集的冲突和近似后验分布。在删除和插补之后,估计后验密度的变化大于预期,这可能表明感兴趣的推断受到影响的冲突。新方法的实用性证明了在一些真实的例子。
2020-10-15 stat.ME
Simultaneous Detection of Signal Regions Using Quadratic Scan Statistics With Applications in Whole Genome Association Studies
在本文中,我们考虑在全基因组关联研究中检测与疾病结果相关的信号区域。基于基因或区域的方法在全基因组关联分析中越来越受欢迎,作为传统个体变异分析的补充方法。然而,这些方法测试结果与预先指定区域中的遗传变体之间的关联,例如,一个基因针对全基因组测序(WGS)研究中存在大量基因间隔区的问题,提出了一种基于Q-SCAN统计量的方法,通过连续扫描基因组来检测信号区的存在和位置。该方法考虑了遗传变异之间的相关性(连锁不平衡),并允许信号区域具有因果和中性变异,以及信号变异的影响方向不同。我们研究了所提出的Q-SCAN统计量的渐近性质。我们推导出一个经验阈值,控制家庭明智的错误率,并表明,在正则条件下,所提出的方法始终选择真正的信号区域。我们进行模拟研究,以评估所提出的方法的有限样本性能。我们的仿真结果表明,所提出的方法优于现有的方法,特别是当信号区域有因果变量的影响是在不同的方向,或被中性变量污染。我们通过分析来自社区动脉粥样硬化风险(ARIC)研究的WGS数据来说明Q-SCAN。
2019-07-25 stat.ME
Detection with the scan and the average likelihood ratio
研究了扫描(极大似然比统计量)和平均似然比统计量在具有高斯白噪声的典型单变量采样数据模型中检测空间范围未知的确定性信号的性能.我们的研究结果表明,扫描统计,一个流行的工具检测问题,是最佳的信号检测与最小的空间范围。对于具有较大空间范围的信号,扫描是次优的,并且功率损耗可能是相当大的。相比之下,平均似然比统计量对于除最小尺度之外的所有尺度上的信号检测都是最优的,在最小尺度上,其性能仅略次优。我们给出了严格的数学陈述,这些结果以及启发式的解释表明,这些发现的本质适用于检测问题相当普遍,如检测集群的模型,涉及密度或强度或检测的多元信号。我们提出了一个修改的平均似然比,产生最佳的检测信号与任意的空间范围,并具有额外的好处,允许快速计算的统计。相比之下,扫描的最佳检测似乎需要使用依赖于尺度的临界值。
2014-02-25 stat.ME
Detecting anomalies in fibre systems using 3-dimensional image data
我们考虑的问题,检测异常的纤维材料在3D图像中观察到的方向分布。我们将图像分成一组扫描窗口,并将其分为两类:均匀材料和异常。基于估计的局部纤维方向的样本,对于每个扫描窗口,我们计算几个分类属性,即局部纤维方向的坐标平均值、方向分布的熵以及它们的组合。我们还提出了一个新的空间修改的随机逼近期望最大化(SAEM)算法。除了聚类,我们还考虑测试异常的显著性。为此,我们应用随机场的变点技术,导出了检验统计量的尾概率的精确不等式。所提出的方法首先验证模拟图像。最后,将其应用于纤维增强聚合物的3D图像。
2019-07-16 stat.AP stat.ME
Statistical Depth based Normalization and Outlier Detection of Gene Expression Data
归一化和离群点检测属于基因表达数据的预处理。我们提出了一个自然的归一化过程的基础上的统计数据深度归一化的基因表达的分布的最具代表性的基因表达的组。这与分位数归一化的标准方法不同,该方法基于坐标中位数数组,缺乏一维中位数的众所周知的属性。统计数据深度保持了这些良好的特性。已知基因表达数据含有离群值。尽管已经广泛地研究了在给定基因表达数据集中检测离群基因,但是这些方法不适用于检测离群样本,这是由于数据的高维度但低样本量结构造成的困难。用于检测异常值样本的标准程序是可视化的,并基于降维技术;实例是多维缩放和光谱图。为了检测给定基因表达数据集中的离群基因,我们提出了一种分析方法,并基于Tukey的离群值概念和统计深度概念,因为以前的方法会导致不自信和错误的离群值。我们揭示了四个数据集的离群值,作为进一步研究的必要步骤。
2022-06-28 stat.ME
Learning Patterns for Detection with Multiscale Scan Statistics
本文讨论了在图像,时间序列和张量数据中检测异常模式时,模式的位置和规模是未知的先验。多尺度扫描统计将建议的模式与图像在不同尺度下进行卷积,并返回结果张量的最大值。尺度校正的多尺度扫描统计在每个尺度上应用不同的量化,并且在原假设下的极限分布--数据只是噪声--对于平滑模式是已知的。我们考虑的问题,同时学习和检测的异常模式从一个字典的光滑模式和一个数据库的许多张量。为此,我们证明了多尺度扫描统计量是一个次指数随机变量,并证明了一个链接引理标准化的上确界,这可能是独立的利益。然后,通过对张量数据库上的统计数据进行平均,我们可以学习模式并获得伯恩斯坦型误差界。我们还将提供一个$ε$ -网络的位置和尺度参数的建设,提供一个计算上易于处理的近似与类似的误差界。
2018-06-21 cs.IT math.IT math.ST
Detecting changes in covariance via random matrix theory
提出了一种新的中维时间序列协方差结构变化检测方法。此非线性检验统计量具有许多有用的属性。最重要的是,它独立于协方差阵的基本结构。我们讨论如何从随机矩阵理论的结果,可以用来研究我们的检验统计量在一个中等尺寸的设置(即变量的数量是可比的数据的长度)的行为。特别地,我们证明了在原假设下,检验统计量逐点收敛到正态分布。我们评估了所提出的方法在一系列模拟数据集上的性能,发现它优于一系列最近提出的替代方法。最后,我们使用我们的方法来研究土壤的一个地块的表面上的水量的变化,输入到模型开发的表面管道的退化。
2021-08-16 stat.ME
Efficient Regression Models for Scan Statistics
University of Utah(犹他大学);CosmicAI(宇宙人工智能公司);National Radio Astronomy Observatory(国家射电天文台)
该研究针对扫描统计提出新型高效回归模型,将原O(n⁴)复杂度优化为线性时间,可有效检测合成异常与干涉天文学的真实平台化问题。
2026-08-25 cs.LG stat.ME
Scan Statistics for Nonhomogeneous Poisson Processes with Extreme-Value Calibration and Application to CNV Detection
Mississippi State University(密西西比州立大学)
针对非齐次泊松过程,提出基于极值分布校准的扫描统计量方法,用于检测拷贝数变异,并通过模拟和实际测序数据验证其有效性。
2026-06-15 stat.CO stat.ME
Online Score Statistics for Detecting Clustered Change in Network Point Processes
我们考虑在线监测的网络事件数据,以检测本地变化时,受影响的数据流分布从一个点的过程转移到另一个不同的参数在一个集群。具体来说,我们感兴趣的是检测一个变化点,导致下面的多变量霍克斯过程的指数衰减时间内核的数据分布的转变,从而霍克斯过程被认为是占观测之间的时空相关性。建议的检测过程是基于扫描分数统计。我们推导出该统计量的渐近分布,它使自归一化属性,并方便的瞬时虚警概率和平均游程长度的近似。当检测具有非零自激的Hawkes过程中的变化时,该过程不需要在假设时间衰减参数的同时估计变化后的网络参数,这具有计算效率。我们进一步提出了一个有效的程序,以准确地确定错误发现率通过重要性抽样,数值例子验证。使用模拟和真实的股票交易数据,我们证明了所提出的方法在检测变化,同时享受计算效率的有效性。
2022-12-22 stat.CO stat.ME
Mixture Likelihood Ratio Scan Statistic for Disease Outbreak Detection
早期发现疾病爆发对于实施干预战略以减轻疾病爆发的严重性和持续时间至关重要。我们建立了一种方法,利用疾病爆发的特征来减少检测时间和假阳性率。我们通过泊松分布与添加剂的背景加爆发组件的每日计数模型。爆发组件具有参数形式,其中包含未知的基础参数。一个混合似然比扫描统计量的开发,以最大限度地在一个窗口的时间参数。这提供了具有早期检测时间和低误报率的警报统计。三个模拟数据集,以代表E。大肠杆菌、隐孢子虫和流感爆发。
2012-01-18 q-bio.QM stat.ME
Calibrated Nonparametric Scan Statistics for Anomalous Pattern Detection in Graphs
University at Albany - SUNY(纽约州立大学奥尔巴尼分校);New York University(纽约大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一种新的方法,校准的非参数扫描统计(CNSS),更准确地检测异常模式在大规模的,真实世界的图形。扫描统计通过最大化似然比统计来识别感兴趣或意外的连通子图;特别是,非参数扫描统计(NPSS)识别具有高于预期比例的单独重要节点的子图。然而,我们发现,最近提出的NPSS方法是错误的校准,未能占最大化的统计子图的多重性。这导致对于细微信号的降低的检测能力,以及即使对于较强的信号,检测到的子图的低精度。因此,我们开发了一种新的统计方法来重新校准NPSS,正确地调整多个假设检验,并考虑到潜在的图形结构。虽然重新校准,随机化测试的基础上,是计算昂贵的,我们提出了一个有效的(近似)算法和新的,封闭形式的下界(在一个给定的大小的子图的重要节点的预期最大比例,根据原假设没有异常模式)。这些进展,以及最近的核心树分解方法的集成,使CNSS能够扩展到大型现实世界的图形,检测到的子图的准确性有了很大的提高。在半合成和真实世界的数据集上进行了大量的实验,以验证我们提出的方法的有效性,与最先进的同行相比。
2022-06-26 cs.AI cs.SI stat.ME
Recursive computation for evaluating the exact $p$-values of temporal and spatial scan statistics
令$V$是指数的有限集合,并且令$B_i$、$i=1,\ldots,m$是$V$的子集,使得$V=\bigcup_{i=1}^{m}B_i$。令$X_i$、$i\in V$为独立随机变量,令$X_{B_i}=(X_j)_{j\in B_i}$。本文提出了一种递归计算方法,在给定$N=\sum_{i\in V}X_i$的情况下,计算条件期望$E\bigl[\prod_{i=1}^mχ_i(X_{B_i}) \,|\, N\bigr]$,其中$χ_i$是任意函数.我们的方法是基于递归求和/积分技术,使用统计中的马尔可夫性质。为了提取马尔可夫性质,我们定义了一个团为$B_j$的无向图,并得到了它的弦扩张,由此我们给出了递归公式的表达式。这种方法适用于一类分布,包括泊松分布(即条件分布是多项式)。这个问题的动机是从多重性调整$p$值的空间流行病学扫描统计的评价。作为该方法的说明,我们提出了真实的数据分析,以检测时间和空间聚类。
2015-10-31 stat.CO stat.ME
Sampling for Region-Aggregated Spatial Scan Statistics
University of Utah(犹他大学);Taptap Send;Meta
针对区域聚合数据与点扫描算法不匹配的问题,提出用20-50个均匀采样点代替区域质心,提升统计功效且保持计算可行性。
2026-08-24 cs.CG stat.AP stat.ME
A Multiscale Scan Statistic for Adaptive Submatrix Localization
我们考虑的问题,本地化的子矩阵与大于通常的条目值内的数据矩阵,没有先验知识的子矩阵的大小。我们建立了一个基于多尺度扫描统计的优化框架,并开发算法,以接近优化器。我们还表明,我们的估计只需要一个信号强度相同的顺序与Oracle知识的子矩阵大小的极大极小估计,以准确地恢复异常的高概率。我们进行了一些模拟,表明我们的估计具有优越的性能相比,其他估计,不需要事先子矩阵的知识,同时相对更快的计算。
2019-06-20 math.ST stat.CO stat.ME
Scan statistics for the detection of anomalies in M-dependent random fields with applications to image data
针对M相依随机场,提出基于局部均值的灵活扫描统计量类并推导极限定理,应用于混凝土二维图像裂缝检测,展示异常检测潜力。
2023-11-16 math.ST stat.AP stat.ME
Anomaly Detection in Spatio-Temporal Data: Theory and Application
本文综述了多元SPC、扫描统计和张量分解三种时空异常检测方法,并在300张太阳活动图像上验证了它们分别适用于稀疏异常、聚集异常和具有时间循环性等理想模式的异常。
2023-09-18 stat.AP stat.ME
Detecting sparse cone alternatives for Gaussian random fields, with an application to fMRI
我们的问题是在高斯随机场样本中的每一点上找到一个很好的近似值的最大值的检验统计量的随机场的锥替代。这些检验统计量已在神经科学文献中提出,用于分析允许血流动力学反应中未知延迟的fMRI数据。然而,该检验统计量的3D随机场的最大值的零分布以及用于检测大脑激活的阈值未得到解决。为了找到解决方案,我们通过随机场的检验统计量偏移集的预期欧拉示性数(EC)来近似P值。我们的主要结果是所需的EC密度,来自使用高斯运动公式。
2012-07-16 math.ST stat.ME stat.TH
Detecting a Structural Change in Functional Time Series Using Local Wilcoxon Statistic
Cracow University of Economics(克拉科夫经济学院);AGH University of Science and Technology(AGH科技大学)
本文提出了一种基于局部Wilcoxon统计量的新方法,用于检测函数时间序列中的结构变化,该统计量由Paindaveine和Van Bever (2013)提出的局部深度函数诱导。
2019-10-24 econ.GN q-fin.EC stat.AP
Detecting Change Signs with Differential MDL Change Statistics for COVID-19 Pandemic Analysis
我们关心的是从数据流中检测变化及其迹象的问题。例如,当给定一个地区COVID-19病例的时间序列时,我们可以通过检测病例变化的迹象来发出疫情爆发的预警信号。我们提出了一种新的方法来解决这个问题。其核心思想是采用一种新的信息理论的概念,我们称之为微分最小描述长度变化统计(D-MDL),用于测量的分数变化的迹象。首先给出了D-MDL的基本理论。然后,我们使用合成数据集证明其有效性。我们将其应用于检测COVID-19疫情的早期预警信号。我们的经验表明,D-MDL是能够提高早期预警信号的事件,如显着增加/减少的情况下。值得注意的是,对于37个研究国家中病例显著增加的事件中的约$64\%$,我们的方法可以在事件发生前平均近6天检测到预警信号,为做出反应赢得了相当长的时间。我们进一步将警告信号与基本再生数$R0$和社交距离的时间相关联。结果表明,该方法能有效监测$R0$的动态变化,证实了社会距离控制在一个区域内的有效性。我们的结论是,从数据科学的角度来看,我们的方法是一种很有前途的流行病分析方法。用于实验的软件可在https://github.com/IbarakikenYukishi/differential-mdl-change-statistics获得。在线检测系统可在https://ibarakikenyukishi.github.io/d-mdl-html/index.html上获得
2021-02-19 cs.IT math.IT stat.AP