基于扫描统计的空间簇的最优快速检测

数据驱动的阈值机器：扫描统计，变化点检测和极端强盗

Data-Driven Threshold Machine: Scan Statistics, Change-Point Detection, and Extreme Bandits

我们提出了一种新的分布免费的方法，数据驱动的阈值机（DTM），在许多学习任务的核心的一个基本问题：选择一个阈值为一个给定的预先指定的水平，边界的最大值（可能依赖，但平稳）随机序列的尾部概率。我们不假设数据分布，而是依赖于极值的渐近分布，并减少了问题的极值分布和极值指数的三个参数估计。我们通过估计极值索引来特别关注数据依赖性，因为在许多设置中，例如扫描统计，变点检测和极端强盗，其中统计序列中的依赖性可能很重要。我们的DTM的主要特点还包括鲁棒性和计算效率，它只需要一个样本路径，以形成一个可靠的估计阈值，相比之下，蒙特卡洛采样方法，需要绘制大量的样本路径。我们证明了良好的性能DTM通过数值例子在各种相关的设置。

扫描$B$ -核变点检测的统计

Scan $B$-Statistic for Kernel Change-Point Detection

检测突变点的出现是统计学和机器学习中的经典问题。基于核的非参数统计已被用于这项任务，它比参数方法对分布的假设更少，并且可以处理高维数据。在本文中，我们专注于当背景数据量很大的情况下，并提出了两个相关的计算效率的基于核的统计变化点检测，这是最近开发的$B$ -统计的启发。本文的一个新的理论结果是使用测量的变化技术，其重点是表征尾部的检测统计量，而不是获得其渐近分布下的零分布，这些统计量的尾部概率的特征。这种近似对于控制虚警率是至关重要的，虚警率对应于离线变点检测中的显著性水平和在线变点检测中的平均游程长度。我们的近似被证明是高度准确的。因此，它们提供了一种方便的方法来找到离线和在线情况下的检测阈值，而不需要诉诸更昂贵的模拟或自举。我们表明，我们的方法表现良好的合成数据和真实数据。

通过回归模型对空间扫描统计量的新见解

New Insight of Spatial Scan Statistics via Regression Model

本文通过回归模型统一了基于期望和基于人群的空间扫描统计量，揭示其差异仅在于截距项的有无，并提出高斯和伯努利模型下的新统计量及基于L0惩罚的优化框架，可扩展至时空扫描和多聚集区检测。

核变点检测算法的 scan B-statistic 复现

Reproduction of scan B-statistic for kernel change-point detection algorithm

本文复现基于核 scan B-statistic 的在线变点检测算法，数值实验证明其优于参数方法，子采样技术可带来适度改进。

Calibrated Nonparametric Scan Statistics for Anomalous Pattern Detection in Graphs

We propose a new approach, the calibrated nonparametric scan statistic (CNSS), for more accurate detection of anomalous patterns in large-scale, real-world graphs. Scan statistics identify connected subgraphs that are interesting or unexpected through maximization of a likelihood ratio statistic; in particular, nonparametric scan statistics (NPSSs) identify subgraphs with a higher than expected proportion of individually significant nodes. However, we show that recently proposed NPSS methods are miscalibrated, failing to account for the maximization of the statistic over the multiplicity of su…

基于Lovasz扩展扫描统计量的图的近优异常检测

Near-optimal Anomaly Detection in Graphs using Lovasz Extended Scan Statistic

图中异常活动的检测是在许多应用中出现的统计问题，例如网络监视、疾病爆发检测和社交网络中的活动监视。除了其广泛的适用性，图结构异常检测作为一个案例研究的困难，平衡计算复杂性与统计功效。在这项工作中，我们从第一性原理的广义似然比检验，以确定是否有一个良好的连通区域的激活在图中的顶点在高斯噪声。因为这个测试是计算上不可行的，我们提供了一个放松，称为Lovasz扩展扫描统计（LESS），使用子模块近似的棘手的广义似然比。我们证明了LESS和马尔可夫随机场中的最大后验推理之间的联系，这为我们提供了LESS的多时间算法。利用电网络理论，我们能够控制LESS的1型错误，并证明了LESS是风险一致的条件。最后，我们考虑特定的图形模型，环面，k-最近邻图，和ε-随机图。我们表明，在这些图上，我们的结果提供了接近最佳的性能匹配我们的结果，已知的下限。

用于评估时间和空间扫描统计的精确$p$值的递归计算

Recursive computation for evaluating the exact $p$-values of temporal and spatial scan statistics

令$V$是指数的有限集合，并且令$B_i$、$i=1,\ldots,m$是$V$的子集，使得$V=\bigcup_{i=1}^{m}B_i$。令$X_i$、$i\in V$为独立随机变量，令$X_{B_i}=(X_j)_{j\in B_i}$。本文提出了一种递归计算方法，在给定$N=\sum_{i\in V}X_i$的情况下，计算条件期望$E\bigl[\prod_{i=1}^mχ_i(X_{B_i}) \,|\, N\bigr]$，其中$χ_i$是任意函数.我们的方法是基于递归求和/积分技术，使用统计中的马尔可夫性质。为了提取马尔可夫性质，我们定义了一个团为$B_j$的无向图，并得到了它的弦扩张，由此我们给出了递归公式的表达式。这种方法适用于一类分布，包括泊松分布（即条件分布是多项式）。这个问题的动机是从多重性调整$p$值的空间流行病学扫描统计的评价。作为该方法的说明，我们提出了真实的数据分析，以检测时间和空间聚类。

稀疏混合数据的检测：高阶批判与扫描统计

Detection of Sparse Mixtures: Higher Criticism and Scan Statistic

我们考虑Ingster（1997）和Donoho and Jin（2004）研究的稀疏混合检测问题。我们考虑一系列广泛的基础分布。特别是，我们研究的情况下，基础分布有多项式的尾巴，在文献中没有得到太多的关注的情况。也许令人惊讶的是，我们发现，在这种幂律分布的背景下，更高的批评没有达到检测边界。然而，扫描统计数据却如此。

Calibrating the scan statistic: finite sample performance vs. asymptotics

We consider the problem of detecting an elevated mean on an interval with unknown location and length in the univariate Gaussian sequence model. Recent results have shown that using scale-dependent critical values for the scan statistic allows to attain asymptotically optimal detection simultaneously for all signal lengths, thereby improving on the traditional scan, but this procedure has been criticized for losing too much power for short signals. We explain this discrepancy by showing that these asymptotic optimality results will necessarily be too imprecise to discern the performance of sca…

利用图傅立叶扫描统计量检测网络异常活动

Detecting Anomalous Activity on Networks with the Graph Fourier Scan Statistic

我们考虑的问题决定，在一个给定的图的每个顶点上的一个单一的噪声测量的基础上，是否潜在的未知信号是恒定的图形或存在一个集群的顶点异常激活。这个问题是相关的几个应用程序，如监测，疾病爆发检测，生物医学成像，环境监测等，因为在这些问题中的激活往往倾向于本地化的图形中的小团体的顶点，我们这样的活动模型的一类信号，支持在一个（可能断开）集群与低切大小相对于其大小。我们分析了相应的广义似然比（GLR）统计量，并将其与在图中找到稀疏割的问题联系起来。我们基于图的组合拉普拉斯算子开发了GLR统计量的易于处理的松弛，我们称之为图傅里叶扫描统计量，并分析其性质。我们展示了它的性能作为一个测试程序直接依赖于图的频谱，并使用这个结果明确推导出它的渐近性质的一些重要的图形拓扑结构。最后，我们从理论上和模拟证明，图形傅立叶扫描统计可以优于天真的测试程序的基础上，全球平均和顶点的阈值。我们还证明了有用的GFSS分析地下水砷浓度从美国地质调查局数据集。

基于多尺度扫描统计的检测学习模式

Learning Patterns for Detection with Multiscale Scan Statistics

本文讨论了在图像，时间序列和张量数据中检测异常模式时，模式的位置和规模是未知的先验。多尺度扫描统计将建议的模式与图像在不同尺度下进行卷积，并返回结果张量的最大值。尺度校正的多尺度扫描统计在每个尺度上应用不同的量化，并且在原假设下的极限分布--数据只是噪声--对于平滑模式是已知的。我们考虑的问题，同时学习和检测的异常模式从一个字典的光滑模式和一个数据库的许多张量。为此，我们证明了多尺度扫描统计量是一个次指数随机变量，并证明了一个链接引理标准化的上确界，这可能是独立的利益。然后，通过对张量数据库上的统计数据进行平均，我们可以学习模式并获得伯恩斯坦型误差界。我们还将提供一个$ε$ -网络的位置和尺度参数的建设，提供一个计算上易于处理的近似与类似的误差界。

自适应子矩阵定位的多尺度扫描统计方法

A Multiscale Scan Statistic for Adaptive Submatrix Localization

我们考虑的问题，本地化的子矩阵与大于通常的条目值内的数据矩阵，没有先验知识的子矩阵的大小。我们建立了一个基于多尺度扫描统计的优化框架，并开发算法，以接近优化器。我们还表明，我们的估计只需要一个信号强度相同的顺序与Oracle知识的子矩阵大小的极大极小估计，以准确地恢复异常的高概率。我们进行了一些模拟，表明我们的估计具有优越的性能相比，其他估计，不需要事先子矩阵的知识，同时相对更快的计算。

M相依随机场中异常检测的扫描统计量及其在图像数据中的应用

Scan statistics for the detection of anomalies in M-dependent random fields with applications to image data

针对M相依随机场，提出基于局部均值的灵活扫描统计量类并推导极限定理，应用于混凝土二维图像裂缝检测，展示异常检测潜力。

上下文皮亚诺扫描与隐藏和证据马尔可夫链的快速图像分割

Contextual Peano Scan and Fast Image Segmentation Using Hidden and Evidential Markov Chains

本文提出了一种结合上下文皮亚诺扫描和证据马尔可夫链的新型模型，用于高效且精确的图像分割。

线性与圆形连续扫描统计的精确闭式公式：$P_c(N - 1; N, w)$，$P_c(3; N, w)$，和$P(3; N, w)$

Exact Closed-Form Formulae for Linear and Circular Continuous Scan Statistics: $P_c(N - 1; N, w)$, $P_c(3; N, w)$, and $P(3; N, w)$

本文推导了线性与圆形连续扫描统计的精确闭式表达式，解决了精确累积分布函数的计算问题，简化了计算复杂度。