Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);Nagoya University(名古屋大学)
尽管大量文献涉及使用深度神经网络(DNN)的图像分割方法,但较少关注评估分割结果的统计可靠性。在这项研究中,我们将分割结果解释为DNN驱动的假设(称为DNN驱动的假设),并提出了一种方法,通过该方法在统计假设测试框架内量化这些假设的可靠性。具体地说,我们考虑一个统计假设测试对象和背景区域之间的差异。这个问题是具有挑战性的,因为由于DNN对数据的适应性,差异会虚假地大。为了克服这一困难,我们引入了一个条件选择性推理(SI)框架-一个新的统计推断框架的数据驱动的假设,最近受到了相当大的关注-计算精确的(非渐近)有效的p值的分割结果。为了将条件SI框架用于基于DNN的分割,我们开发了一种基于同伦方法的新SI算法,该算法使我们能够推导出DNN驱动假设的精确(非渐近)采样分布。我们在合成和真实世界的数据集上进行了实验,通过这些实验,我们提供了证据,证明我们提出的方法可以成功地控制假阳性率,在计算效率方面具有良好的性能,并且在应用于医学图像数据时提供了良好的结果。
2022-12-14 cs.CV cs.LG stat.ML
LABS: Extending the scope of binary segmentation via a look-ahead device
London School of Economics and Political Science(伦敦政治经济学院)
针对二元分割在斜率变化检测中失效的问题,提出前瞻二元分割(LABS),继承其计算速度,在斜率变化场景下达到近最优收敛速率,模拟显示其性能达到先进水平。
2026-08-24 math.ST stat.CO stat.ME
Statistical Inference in Hidden Markov Models using $k$-segment Constraints
Athens University of Economics and Business(雅典经济与商业大学);University of Oxford(牛津大学)
隐马尔可夫模型(Hidden Markov Models,HMM)是序列数据分析中应用最广泛的统计方法之一。然而,来自Hacker的输出的报告在很大程度上被限制为通过Viterbi算法找到的最可能(MAP)隐藏状态序列的呈现,或者使用前向-后向(F-B)算法的最可能边缘的序列。在这篇文章中,我们通过引入线性时间动态规划算法来扩展我们可以从HMM的后验分布中获得的信息量,我们统称为$k$ -分段算法,该算法允许我们i)找到MAP序列,ii)计算后验概率和iii)以用户指定的分段数为条件模拟样本路径,即隐藏状态下的连续运行,可能是特定类型的。我们使用模拟和真实的例子来说明这些方法的实用性,并强调了这些方法的前瞻性和回顾性使用的应用程序,以拟合障碍或探索现有的模型拟合。
2013-11-05 cs.LG stat.ME stat.ML
Ensemble Binary Segmentation for irregularly spaced data with change-points
我们提出了一种新的技术一致的估计的数量和位置的变化点的结构不规则间隔的时间序列。分割过程的核心是增强二进制分割方法(EBS),这是一种使用二进制分割(BS)方法的大量多个变点检测任务应用于不同长度数据的子样本的技术,然后将结果合并以创建整体答案。我们不限制一个时间序列可以具有的变点的总数,因此,当变点之间的间隔很短时,我们所提出的方法工作得很好。我们的主要变点检测统计量是时变自回归条件持续时间模型,我们应用一个变换过程,以去相关它。为了检查EBS的性能,我们提供了各种类型的场景的模拟研究。还提供了一致性证明。我们的方法在R包eNchange中实现,可从CRAN下载。
2021-02-22 stat.ME
Statistical inference of the inter-sample Dice distribution for discriminative CNN brain lesion segmentation models
University of Ottawa(渥太华大学)
判别卷积神经网络(CNN),其中体素的条件Multinoulli分布假设,在许多脑病变分割任务中表现良好。对于要在临床实践中使用的经训练的区分性CNN,将患者的放射学特征输入到模型中,在这种情况下,产生分割的条件分布。捕捉预测的不确定性对于决定是放弃一个模型,还是在竞争模型中进行选择非常有用。然而,在实践中,我们永远不知道真实分割,因此永远不知道真实的模型方差。在这项工作中,区分性CNN的分割采样用于通过分析新患者的样本间Dice分布来评估训练模型的鲁棒性,仅基于他们的磁共振(MR)图像。此外,通过证明样本间Dice观测值在一定条件下是独立和同分布的,具有有限的均值和方差,提出了一种严格的基于置信度的决策规则,以决定是否拒绝或接受特定患者的CNN模型。应用于ISLES 2015(SISS)数据集,该模型将7个预测确定为不稳健,对其余大脑计算的平均Dice系数提高了12%。
2021-02-19 cs.CV eess.IV stat.AP
Seeded Binary Segmentation: A general methodology for fast and optimal change point detection
近年来,人们对大规模变点检测问题的有效算法的需求越来越大。为此,我们提出了种子二进制分割,依赖于一个确定性的背景间隔,称为种子间隔,其中搜索单个变化点的建设方法。基于来自种子区间的候选的变化点的最终选择可以以各种方式完成,适应于手头的问题。因此,种子二进制分割很容易适应各种各样的变化点检测问题,让它是单变量,多变量甚至高维。我们考虑了单变量高斯变化的平均设置的细节。对于这个特定的情况下,我们表明,种子二进制分割导致一个接近线性的时间方法(即线性对数因子)的基本数量的变化点无关。此外,使用适当的选择方法,该方法被证明是渐近极小极大最优。虽然计算效率更高,但与现有技术的过程相比,有限样本估计性能仍然具有竞争力。此外,我们用逆协方差变点检测问题说明了高维设置的方法,我们的建议导致了大量的计算增益,同时仍然表现出良好的统计性能。
2020-02-16 stat.CO stat.ME
Exact Multiple Change-Point Detection Via Smallest Valid Partitioning
Université Paris-Saclay(巴黎萨克雷大学);London School of Economics and Political Science(伦敦政治经济学院);Lancaster University(兰卡斯特大学)
本文提出了一种基于最小有效划分的精确多重转折点检测方法,通过局部有效性测试和字典序优化实现简洁且高效的分段解决方案。
2026-02-04 stat.ME
Consistent Kernel Change-Point Detection under m-Dependence for Text Segmentation
本文提出在m依赖数据下基于核变化点检测的文本分段方法,通过理论证明和实验证明其在文本分段任务中的有效性。
2026-01-26 cs.CL cs.LG stat.ML
Multiple-change-point detection for high dimensional time series via sparsified binary segmentation
时间序列分割,也称为多个变化点检测是一个公认的问题。然而,很少有解决方案是专门为高维情况设计的。本文主要研究高维时间序列的二阶结构分割问题。在用于多变量时间序列的二进制分割算法的一般步骤中,一个自然的解决方案是组合从输入时间序列的分量的局部周期图和交叉周期图获得的Cumsum统计。然而,标准的“最大值”和“平均值”方法在高维中通常会失败,例如,当面板上的变点稀疏或CANUM统计量过大时。在本文中,我们提出了稀疏化二进制分割(SBS)算法,它通过只添加那些通过一定阈值的统计数据来聚合统计数据。这个“稀疏化”步骤减少了不相关的、有噪声的贡献的影响,这在高维中特别有益。为了证明SBS的一致性,我们引入了时间序列的多元局部平稳小波模型,这是本文的一个独立贡献。
2016-11-25 stat.ME
Detecting possibly frequent change-points: Wild Binary Segmentation 2 and steepest-drop model selection
许多现有的用于检测数据序列中的多个变化点的过程在频繁变化点场景中失败。本文提出了一种新的变点检测方法,旨在工作以及在罕见和频繁的变点设置。它由两个成分组成:一个是“野生二进制分割2”(WBS2),一个递归算法,用于产生我们所说的“完整”的解决方案路径的变化点检测问题,即一个序列的估计嵌套模型包含$0, \ldots, T-1$变化点,其中$T$是数据长度。另一个要素是新的模型选择程序,称为“最陡降至低水平”(SDLL)。SDLL准则作用于WBS2解决方案路径,并且与许多现有的变点问题的模型选择程序不同,它不是基于惩罚的,并且仅使用阈值作为某种离散的二次检查。由此产生的WBS2.SDLL程序,结合这两种成分,被证明是一致的,并显着优于竞争中的频繁变化点的情况下测试。WBS2.SDLL速度快,易于编码,不需要选择窗口或跨度参数。
2020-02-24 stat.ME
Multiple Change Point Detection and Validation in Autoregressive Time Series Data
时间序列的结构突然变化是很常见的。识别这些变化点并描述这些变化点之间的段中的模型结构是感兴趣的。在本文中,时间序列数据建模假设每段是一个自回归时间序列可能不同的自回归参数。这是通过两个主要步骤实现的。第一步是使用基于似然比扫描的估计技术来识别这些潜在的变化点以分割时间序列。一旦这些潜在的变化点被确定,修改后的参数光谱鉴别测试用于验证所提出的段。进行数值研究,以证明所提出的方法在各种情况下的性能,并与其他当代技术进行比较。
2019-12-17 stat.CO stat.ME
Segmenting Human-LLM Co-authored Text via Change Point Detection
School of Mathematics University of Birmingham(数学系 英国伯明翰大学);Department of Statistics London School of Economics and Political Science(统计系 伦敦政治经济学院)
针对大语言模型兴起后区分人类与LLM共同撰写文本的需求,提出类似时间序列变化点检测的算法,开发加权和广义算法,建立最优性,实验表明该方法性能优于现有基线。
2026-07-17 cs.AI cs.CL stat.ME
Change Point Detection by Cross-Entropy Maximization
CERC, Polytechnique Montréal(蒙特利尔理工学院 CERC)
许多离线无监督变化点检测算法依赖于最小化分段成本的惩罚总和。我们扩展了这个框架,建议最大限度地减少段之间的差异。特别是,我们建议选择的变化点,以最大限度地提高连续段之间的交叉熵,引入新的变化点的惩罚平衡。我们提出了一个动态规划算法来解决这个问题,并分析了它的复杂性。在两个具有挑战性的数据集上的实验表明,与三种最先进的方法相比,我们的方法具有优势。
2020-09-02 cs.LG eess.SP stat.ML
Segmentation and Estimation of Change-point Models: False Positive Control and Confidence Regions
为了分割一个序列的独立随机变量在一个未知数的变化点,我们引入了新的程序,是基于阈值的似然比统计。我们还研究了基于似然比统计量的变点的置信区域和变点与参数值的联合置信区域。讨论了分段阵列计算全息数据的应用。
2018-10-15 math.ST stat.TH
Consistency of Binary Segmentation For Multiple Change-Points Estimation With Functional Data
对于连续观察到的功能数据表现出多个变化点的平均函数,我们建立一致性结果的估计数量和位置的变化点的基础上的规范的功能性CRACUUM过程和标准的二进制分割。除了将Venkattern(1992)和Fryzlewicz(2014)中标量数据的类似结果扩展到一般希尔伯特空间设置之外,我们的主要结果是在不假设数据的高斯性的情况下建立的,并且是在一般线性过程条件下对模型误差的。
2019-12-31 math.ST stat.TH
Composite likelihood inference in a discrete latent variable model for two-way "clustering-by-segmentation" problems
我们考虑一个离散的潜在变量模型的双向数据阵列,它允许一个同时产生集群沿一个数据维度(例如可交换的观测单位或功能)和连续的组,或段,沿其他(例如连续排序的时间或位置)。该模型依赖于一个隐马尔可夫结构,但由于其复杂性,不能完全最大似然估计。因此,我们引入复合似然方法的基础上考虑不同的数据子集。所提出的方法说明了模拟,并与基因组数据的应用程序。
2015-06-27 math.ST stat.ME stat.TH
Multiscale Change-point Segmentation: Beyond Step Functions
已知现代多尺度类型分割方法以高统计精度检测多个变化点,同时允许快速计算。支撑理论主要是为假设信号为分段常数函数的模型而发展的。在本文中,这将被扩展到某些功能类超出这样的阶梯函数在非参数回归设置,揭示某些多尺度分割方法,如从这样的分段常数函数的偏差稳健。我们的主要发现是适应在这样的函数类的一个普遍的阈值,其中包括有界变差函数,(分段)的Hölder函数的光滑顺序$ 0 < α\le1$作为特殊情况。从这一点上,我们得到的统计保证特征检测的跳跃和模式。另一个关键的发现是,这些多尺度分割方法执行几乎(高达一个对数因子),以及甲骨文分段常数分割估计(与已知的跳跃位置),和(未知的)真实信号的最佳分段常数近似。理论研究结果进行了各种数值模拟。
2019-01-21 math.ST stat.TH
Convergence of U-Processes in Hölder Spaces with Application to Robust Detection of a Changed Segment
为了检测时间序列中的变化段(所谓的流行变化),经常使用MANUUM统计量的变体。然而,它们对数据中的离群值敏感,并且对于重尾数据表现不佳,特别是当短片段在检验统计量中获得高权重时。我们将基于Wilcoxon统计量为流行病变化提供一个稳健的检验统计量。为了研究U-过程的渐近性态,我们证明了U-过程在Hölder空间中的泛函极限定理.我们还研究了有限样本的行为,通过模拟和应用统计的真实数据的例子。
2019-12-19 math.ST stat.ME stat.TH
FDR-Control in Multiscale Change-point Segmentation
快速多变点分割方法,它还提供了忠实的统计报表的数量,位置和大小的段,最近受到了极大的关注。在本文中,我们提出了一种多尺度分割方法,FDRSeg,它控制的错误发现率(FDR)的意义上说,假跳跃的数量是有界的线性的真跳跃的数量。通过这种方式,它使检测功率适应真实跳跃的数量。我们证明了一个非渐近的上界,其FDR在高斯设置,它允许正确校准的唯一参数FDRSeg。变化点的位置,以及信号,被证明是在一个统一的意义上估计在最佳的最小最大收敛速度的对数因子。后者是w.r.t.。$L^p$ -风险,$p \ge 1$,在阶梯函数类上,具有有界跳跃大小和有界或可能增加的变点数。FDRSeg可以有效地计算的加速动态程序,其计算复杂性被证明是线性的观察时,有许多变化点的数量。所提出的方法的性能进行检查,通过与一些国家的最先进的方法在模拟和真实的数据集进行比较。R-package可在线获得。
2015-10-25 math.ST stat.TH
Number of Sign Changes: Segment of AR(1)
设$X_{t}$表示平稳的一阶自回归过程。考虑序列的$n$连续观测(在时间$t$上)(例如,$X_{1}, ..., X_{n}$)。设其均值为零,滞后一序列相关为$ρ$,满足$|ρ| < 1$。Rice(1945)证明了$(n-1) \arccos(ρ)/π$是符号变化的期望数。Nyberg,Lizana & Ambjörnsson(2018)基于独立区间近似提出了高阶矩的相应公式。我们只关注小$n$的方差,并看到理论和模型之间有希望的拟合。
2019-09-05 math.HO math.ST stat.TH