cutpointr: Improved Estimation and Validation of Optimal Cutpoints in R
二进制分类任务的“最佳分割点”通常通过测试哪个分割点产生最佳区分来建立，例如在特定样本中的Youden指数。这会导致“最佳”切割点高度可变，并系统性地高估了样本外性能。为了解决这些问题，cutpointr软件包提供了强大的方法来估计最佳切割点和样本外的性能。稳健方法包括基于核估计的自举和平滑、广义可加模型、平滑样条和局部回归。这些方法可以应用于广泛的二进制分类和基于成本的度量。cutpointr还提供了利用用户定义的度量和估计方法的机制。该软件包具有并行引导的能力，包括可再现的随机数生成。此外，它是管道友好的，例如与tidyverse的函数兼容。包括用于绘制接收器操作特征曲线、精确召回图、自举结果和数据的其他表示的各种函数。该软件包包含来自一项关于心理特征和自杀企图的研究的示例数据，适用于应用二元分类算法。
2020-02-21 stat.CO
Nonparametric estimation of the first order Sobol indices with bootstrap bandwidth
假设$Y = ψ(X_1, \ldots, X_p)$，其中$(X_1,\ldots, X_p)^\top$是随机输入，$Y$是输出，$ψ(\cdot)$是未知链接函数。Sobol指数通过估计它们之间的回归曲线的可变性来衡量每个$X$对$Y$的敏感性。在本文中，我们估计这些曲线与基于核的方法。当自变量和因变量之间的联系未知时，该方法允许估计一阶指数。基于核的方法需要带宽来平均观测值。对于有限样本，交叉验证方法是著名的，以确定该带宽。然而，它产生了结构性偏差。为了弥补这一点，我们提出了一个自助程序，重建模型残差和重新估计的非参数回归曲线。使用新的一组曲线，该程序纠正了Sobol指数中的偏差。为了测试所开发的方法，我们实现了模拟的数值例子与复杂的功能。
2019-04-17 stat.CO stat.ME
Using bootstrap for statistical inference on random graphs
在本文中，我们提出了一种新的非参数网络推理方法，可以看作是一个融合的块采样程序的时间和空间依赖的过程与经典的网络方法。在未知度分布的假设下，我们使用“拼凑”样本和非参数自举法来估计和量化网络平均度的不确定性。我们调查的渐近性质，建议拼凑引导程序和交叉验证方法选择最佳的补丁大小。我们在具有短尾和长尾平均度分布的模拟网络上验证了新的拼接引导，并重新审视了ErdOS协作数据来说明所提出的方法。
2015-01-18 stat.AP
Distributed Bootstrap for Simultaneous Inference Under High Dimensionality
我们提出了一个分布式的引导方法，同时推理的高维海量数据，存储和处理与许多机器。该方法产生一个$\ell_\infty$ -范数置信区域的基础上的通信有效的去偏套索，我们提出了一个有效的交叉验证方法来调整的方法在每次迭代。我们从理论上证明了一个下界的通信轮数$τ_{\min}$，保证统计的准确性和效率。此外，$τ_{\min}$仅随工人数和内在维数的增加而增加，而几乎不随名义维数的增加而变化。我们测试我们的理论，通过广泛的模拟研究，和一个半合成数据集的基础上，美国航空公司的准时性能数据集的变量筛选任务。再现数值结果的代码可在GitHub上获得：https://github.com/skchao74/Distributed-bootstrap。
2022-06-14 math.ST stat.ME stat.ML
Pre-validation Revisited
本文重新审视预验证方法，在无独立性假设下扩展问题，提出检验统计量的解析分布和通用自助法流程，并通过模拟及乳腺癌、合成GWAS应用展示其在预测、推断和误差估计中的优势。
2025-05-22 stat.ME stat.ML
A repeated k-fold cross-validation approach for evaluating the instability of clinical prediction models: an empirical comparison to the bootstrap approach
Faculty of Medicine, Chiang Mai University（清迈大学医学院）；Lampang Hospital（南奔医院）；Chaiprakarn Hospital（柴帕卡恩医院）
提出基于交叉验证的方法评估临床预测模型预测不稳定性，并与自助法比较。在逻辑回归和随机森林模型中，用临床队列实证实验，发现该方法可评估不稳定性并提供内部验证性能。
2026-07-07 stat.ME
Snowboot: Bootstrap Methods for Network Inference
复杂网络被用来描述各种不同的社会系统和自然现象，从电网到客户细分再到人脑连接体。参数模型规范和验证的挑战激发了对复杂网络推理的更多数据驱动和灵活的非参数方法的探索。本文讨论了随机网络上的两种引导过程的方法和R实现，即Thompson et al.（2016）和Gel et al.（2017）的拼接引导和Snijders和Borgatti（1999）的顶点引导。据我们所知，新的R包snowboot是R中网络上顶点和拼接引导推理的第一个实现。我们的新软件包附有详细的用户手册，并与网络研究igraph上流行的R软件包兼容。我们评估补丁引导和顶点引导广泛的模拟研究，并说明其实用程序在现实世界的网络分析中的应用。
2019-02-24 cs.SI physics.soc-ph stat.CO
Bandwidth selection for kernel density estimation with length-biased data
长度偏差数据是加权数据的一种特殊情况，它出现在许多情况下：生物医学，质量控制或流行病学等。在本文中，我们研究了核密度估计在长度有偏数据的背景下的理论性质，提出了两个一致的引导方法，我们使用的带宽选择。除了引导带宽选择器，我们建议一个经验法则。这些带宽选择的建议进行了比较与最小二乘交叉验证方法。完成了模拟研究，以了解有限样本中的程序的行为。
2016-12-13 stat.CO stat.ME
A computational validation for nonparametric assessment of spatial trends
连续空间变化过程的分析通常考虑两个变化源，即由过程趋势收集的大尺度变化和小尺度变化。关于纬度和经度的参数趋势模型易于拟合和解释。然而，使用简单的参数模型表征空间变化的过程可能会导致错误的问题，如果模型是不合适的。最近，Meilán-Vila等人（2019）提出了一种基于L2距离的拟合优度检验，用于评估随机设计下具有相关误差的参数趋势模型，比较参数和非参数趋势估计量。目前的工作旨在提供一个详细的计算分析的行为，这种方法使用不同的引导算法进行校准，在一个固定的设计地质统计框架。渐近结果的测试和广泛的模拟研究，考虑到地质统计学中通常出现的复杂性，进行了说明的建议的性能。
2020-02-13 stat.CO stat.ME
Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
正确使用模型评估、模型选择和算法选择技术在学术机器学习研究以及许多工业环境中至关重要。本文回顾了不同的技术，可用于这三个子任务，并讨论了每种技术的主要优点和缺点，参考理论和实证研究。此外，给出了建议，以鼓励在机器学习的研究和应用中的最佳但可行的实践。涵盖了常见的方法，如用于模型评估和选择的保持方法，在处理小数据集时不推荐使用。不同口味的引导技术的性能估计的不确定性估计，作为一种替代置信区间通过正常的近似，如果引导是计算上可行的。综述了常用的交叉验证技术，如留一交叉验证和k折交叉验证，讨论了k值选择的偏差-方差权衡，并根据经验证据给出了k值最优选择的实用技巧。不同的算法比较统计测试，并讨论了处理多重比较，如综合测试和多重比较校正的策略。最后，算法选择的替代方法，如组合的F-test 5x 2交叉验证和嵌套交叉验证，推荐用于在数据集较小时比较机器学习算法。
2020-11-11 cs.LG stat.ML
Cross-validation: what does it estimate and how well does it do it?
该研究揭示交叉验证等方法实际估计的是同总体其他训练集模型的平均预测误差，指出常规交叉验证置信区间因折间相关覆盖率不足，提出嵌套交叉验证方案以更准确估计方差，提升区间覆盖率。
2022-07-18 math.ST stat.CO stat.ME
Linearity Characterization and Uncertainty Quantification of Spectroradiometers via Maximum Likelihood and the Non-parametric Bootstrap
用于表征和校正辐射测量仪器的线性的技术被称为“通量添加方法”和“组合技术”。在本文中，我们开发了一个严格的不确定性量化方法与这种技术的使用，并说明它的使用与合成数据和实验数据从“束conjoiner”仪器。我们提出了一个概率模型，通过一组多项式系数的一组未知通量的仪器读数。推荐未知通量和多项式系数的最大似然估计（MLE），而非参数自举算法实现不确定性量化（例如，它可以返回标准误）。合成数据代表了辐射测量仪器的合理输出，并使该方法能够进行测试和验证。发现这些数据的MLE近似无偏，并且发现自举重复测定得出的置信区间与其95%的目标覆盖率一致。对于多项式系数，相对偏倚小于1%，观察到的覆盖率范围为90%至97%。实验数据集被用来说明如何使用该方法加上一个众所周知的通量水平可以实现一个完整的校准与不确定性。在其大部分范围内，仪器非线性响应估计的不确定度贡献小于0.02%。
2022-09-29 stat.AP
Bootstrap Cross-validation Improves Model Selection in Pharmacometrics
交叉验证评估模型的预测能力，允许对模型进行相应的排名。虽然非参数bootstrap几乎总是用于评估参数的变异性，但如果在给定的bootstrap迭代中跟踪未选择的项目，则可以将其用作交叉验证的基础。选择的项目构成训练数据，省略的项目构成测试数据。这种自助交叉验证（BS-CV）允许通过比较测试数据汇总统计量的集合中位值，根据预测能力进行模型选择。本文使用几种汇总统计量（包括称为预测质量简单度量（SMPQ）的新统计量），并使用Monolix分布中包含的华法林数据（具有13个药代动力学（PK）模型和12个药效学（PD）模型）证明了BS-CV。值得注意的是，AIC的两个最佳PK模型具有最差的预测能力，强调了使用随机变量（如AIC）的单一实现作为模型选择基础的危险。使用这些数据，BS-CV能够区分类似的间接反应模型（输入抑制与输出刺激）。这在作用机制未知的情况下可能很有用（与华法林不同）。
2019-09-27 q-bio.QM stat.AP stat.ME
Flexible parametric bootstrap for testing homogeneity against clustering and assessing the number of clusters
聚类分析中有两个众所周知的难题，即估计聚类数量和检查待聚类的总体是否实际上不同质。给定一个数据集，聚类方法和聚类验证指数，本文提出建立空模型，捕捉不能被解释为指示聚类的数据的结构特征。人工数据集从空模型中采样，参数从原始数据集估计。这可用于检验同质总体相对于聚类备选方案的原假设。它还可以用于校准验证指数，以估计聚类数，通过考虑任何给定数量的聚类的空模型下的指数的预期分布。该方法说明了三个例子，涉及各种不同的聚类技术（分割围绕medoids，分层方法，高斯混合模型），验证指标（平均轮廓宽度，预测强度和BIC），和问题，如混合类型的数据，时间和空间自相关。
2015-02-09 stat.ME
confidence-planner: Easy-to-Use Prediction Confidence Estimation and Sample Size Planning
Poznan University of Technology（波兹南理工大学）；Polish Academy of Sciences（波兰科学院）；MNM Bioscience（MNM生物科学公司）
机器学习应用，特别是在医学和社会科学领域，正慢慢受到越来越多的审查。与临床和社会研究中执行的样本量规划类似，立法者和资助机构可能期望在影响社会的机器学习应用中进行统计不确定性估计。在本文中，我们提出了一个易于使用的python包和web应用程序，用于估计预测置信区间。该软件包提供了八种不同的程序，以确定和证明样本量和预测的信心，从保持，自助，交叉验证，逐步验证实验。由于该软件包直接构建在已建立的数据分析库上，因此它可以无缝集成到预处理和探索性数据分析步骤中。与本文相关的代码可在https://github.com/dabrze/confidence-planner上获得。
2023-01-12 cs.LG stat.ME
Bootstrap tests for almost goodness-of-fit
本文提出“几乎拟合优度”检验，通过基于M-estimator和L^p距离的统计量，结合两种自助法方案，评估参数模型在预设误差容限内对观测样本分布的近似表示能力，并量化其相对无信息基准的改进。
2025-10-14 math.ST stat.AP stat.ME
[DeepGOF] Where Does a Logistic Risk Model Fail? An Audited Neural Goodness-of-Fit Test for Model Development and External Validation
Alexandria University（亚历山大大学）
针对逻辑回归拟合优度检验在小样本下水平漂移的问题，提出基于预训练卷积网络的检验方法，利用自助法校准保证水平精确性，并提供可计算的一致性证书，在基准上表现稳定且功效优越。
2026-10-05 stat.CO stat.ME stat.ML
Does a Developed Comorbidity Index Really Add Value? A Selection-Aware Bootstrap for Post-Selection Concordance
University of British Columbia（不列颠哥伦比亚大学）；St. Paul’s Hospital（圣保罗医院）
研究特定疾病合并症指数开发中标准乐观校正的问题，提出选择感知自举法，通过在重采样中重新运行最佳选择消除结构偏差，经模拟和实验验证该方法能有效改进置信区间，提高判别准确性。
2026-07-15 stat.AP stat.ME
Analyzing directional errors in spatial orientation using nonparametric circular regression with mixed covariates
Universidade da Coruña（科鲁尼亚大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文研究了感官条件对方向准确性的影响，提出了一种非参数圆形回归框架，通过产品核估计器处理连续和分类预测变量，并通过Bootstrap方法选择带宽以实现稳健的推断。
2026-04-23 stat.AP stat.ME
Post-2024 U.S. Presidential Election Analysis of Election and Poll Data: Real-life Validation of Prediction via Small Area Estimation and Uncertainty Quantification
本文基于小区域估计方法构建预测模型，对2024年美国大选进行选后分析，完美预测了44个州的选举人团结果，并提出保形推理方法量化预测不确定性，揭示了摇摆州易受民调偏差影响。
2025-11-05 stat.AP
Unsupervised non-parametric change point detection in quasi-periodic signals
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
提出了一种新的无监督非参数方法来检测复杂准周期信号中的变点。检测依赖于最优传输理论结合拓扑分析和引导程序。该算法的目的是检测几乎任何谐波或部分谐波信号的变化，并验证了三个不同的生理数据流源。我们成功地发现异常或不规则的心动周期的波形中的六个最常见的类型的临床心律失常使用一个单一的算法。合成和实时的系列的验证和效率的方法。我们的无监督方法达到了有监督的最先进技术的性能水平。我们提供了概念上的理由的效率的方法，并证明了自举过程的收敛性理论。
2020-02-07 cs.LG math.ST stat.ML
High-Dimensional Model Averaging via Cross-Validation
本文提出交叉验证驱动的高维模型平均方法，结合一般损失与正则化，证明错误设定下的最优性、正确模型下的近 oracle 速率，并给出去偏推断与 FGMA 快速算法。
2025-06-10 math.ST stat.TH
Normalized least-squares estimation in time-varying ARCH models
研究了时变扰动过程。结果表明，该模型可以描述金融时间序列中常见的收益率平方样本自相关的慢衰减现象，这为进一步研究该模型的参数估计方法提供了依据。由于参数随时间变化，因此成功的估计器需要在小样本情况下表现良好。我们提出了一个核归一化最小二乘（Kernel-NLS）估计，它具有一个封闭的形式，从而优于以前提出的核准最大似然（Kernel-QML）估计小样本。核-NLS估计器简单，在温和的矩假设下工作，并且避免了核-QML估计器施加的一些参数空间限制。理论证据表明，核NLS估计具有相同的收敛速率的核QML估计。由于核-NLS估计的计算容易，可以使用计算密集的程序。提出了一种基于预测的交叉验证方法来选择核NLS估计器的带宽。此外，我们使用基于残差的自举方案来引导tvcash过程。Bootstrap样本用于获得核-NLS估计量的逐点置信区间。它表明，使用自助和“真”的tvestimator估计的分布渐近重合。我们说明了我们的估计方法对各种货币汇率和股票指数的数据，我们得到了良好的拟合数据和准确的预测。
2008-04-04 math.ST stat.TH
Nested partitions from hierarchical clustering statistical validation
我们开发了一个贪婪的算法，是快速和可扩展的检测嵌套分区提取的树状图从层次聚类的多变量系列。我们的算法提供了一个$p$ -值的层次树中观察到的每个进化枝。通过计算相异度矩阵的自举副本的数量并通过对与给定进化枝相关联的相异度和其父节点的进化枝的相异度之间的每个差异进行统计测试来获得$p$值。我们证明了我们的算法的有效性与一组基准使用层次因素模型产生的。我们比较了我们的算法与Pvlove.com的结果。Pvestival是一种广泛使用的算法，最初是由系统发育研究激发的全局方法开发的。在我们的数值实验中，我们专注于多假设检验校正的作用和算法的鲁棒性，数据集的不准确性和错误。我们还将我们的算法应用于参考经验数据集。我们验证了我们的算法是比Pvestival算法快得多，并具有更好的可扩展性，无论是在调查的多元集的元素的数量和记录的数量。我们的算法提供了一个层次嵌套分区在更短的时间比目前广泛使用的算法，允许在非常大的系统中进行统计验证的聚类分析检测。
2019-06-17 q-bio.GN stat.AP
Generative Multiple-purpose Sampler for Weighted M-estimation
本文提出生成式多用途采样器（GMS），通过单一优化生成加权M估计解，显著降低计算成本，并引入权重乘法多层感知器加速收敛，支持多种统计程序。
2023-10-16 stat.ME
Density estimation for grouped data with application to line transect sampling
样线抽样是一种用于估计野生动物种群的方法，所得数据通常按间隔分组。从分组数据中估计密度可能具有挑战性。在本文中，我们提出了这样的分组数据的野生动物种群密度的核密度估计。我们的方法使用一个组合的交叉验证和平滑的自助方法来选择分组数据的最佳带宽。我们的模拟研究表明，与其他方法相比，使用该方法选择的平滑参数，从分组数据估计的密度更接近真实密度。使用平滑的bootstrap，我们还构造了边界处密度值的偏差调整的置信区间。我们将所提出的方法应用到两个分组数据集，一个来自木桩研究的真实密度是已知的，另一个来自澳大利亚的袋鼠的调查。
2010-11-09 stat.AP
Consistent Risk Estimation in Moderately High-Dimensional Linear Regression
Columbia University（哥伦比亚大学）；Baruch College, City University of New York（纽约城市大学巴鲁克学院）
风险评估是许多学习系统的核心。这个问题的重要性促使研究人员提出不同的方案，如交叉验证，广义交叉验证和Bootstrap。这种估计的理论性质已经在低维环境中得到了广泛的研究，其中预测因子$p$的数量远小于观测值$n$的数量。然而，一个统一的方法，伴随着一个严格的理论是缺乏在高维设置。本文研究了中等高维渐近设置$n,p \rightarrow \infty$和$n/p \rightarrow δ>1$（$δ$为固定数）下的风险估计问题，证明了在数值研究中已经成功的三种风险估计的相容性，即，留一交叉验证（LOOCV）、近似留一（ALO）和基于近似消息传递（AMP）的技术。我们分析的基石是一个界限，我们从AMP和LOOCV获得的“残差”的差异。这种连接不仅使我们能够获得更精确的信息的估计AMP，ALO和LOOCV，但也提供了上界的收敛速度的每个估计。
2021-01-18 cs.LG math.ST stat.ML
Value of Information Analysis for External Validation of Risk Prediction Models
本研究将信息价值方法学应用于风险预测模型的外部验证，提出三种EVPI计算方法，通过模拟和案例研究验证其有效性，为模型验证不确定性的决策影响提供量化框架。
2022-08-05 stat.AP
Spectral Inference under Complex Temporal Dynamics
我们开发了统一的理论和方法的推理进化傅立叶功率谱的一般类的局部平稳和可能的非线性过程。特别是，同时置信区域（SCR）与渐近正确的覆盖率构造的进化谱密度的联合时间-频域的一个接近最优的密集网格。提出了一种基于仿真的自举方法来实现SCR。SCR使研究人员和从业人员能够直观地评估渐进准确的统计保证的进化功率谱的幅度和模式。SCR还作为一个统一的工具，用于时频分析中的各种统计推断问题，从白噪声、平稳性和时频可分性的测试到非平稳线性模型的验证。
2020-04-17 eess.SP math.ST stat.ME
A Modern Theory of Cross-Validation through the Lens of Stability
该研究从稳定性视角系统研究交叉验证方法，梳理其在泛化误差估计、模型选择中的相关理论，拓展基于CV的风险估计的不确定性量化研究，形成新理论工具并应用于多个统计学习场景。
2025-10-28 math.ST stat.TH
Predicting Individualized Effects of Internet-Based Treatment for Genito-Pelvic Pain/Penetration Disorder: Development and Internal Validation of a Multivariable Decision Tree Model
生殖器盆腔疼痛/穿透障碍（GPPPD）是一种常见的疾病，但很少在常规护理中治疗。先前的研究表明，GPPPD症状可以通过基于互联网的心理干预有效治疗。然而，所有最先进的治疗方法的无反应仍然很常见，目前还不清楚哪些患者群体有望从基于互联网的干预中获益最多。多变量预测模型越来越多地用于识别异质性处理效应的预测因子，并分配具有最大预期效益的治疗。在这项研究中，我们开发并内部验证了一个多变量决策树模型，该模型预测基于互联网的治疗对GPPPD症状多维综合评分的影响。一项随机对照试验的数据比较了基于互联网的干预和等待名单对照组（N =200），用于开发一个决策树模型，使用基于模型的递归划分。通过检查表观和自举偏差校正性能评估模型性能。最终修剪的决策树由一个分裂变量，联合二元应对，基于此出现两个响应集群。对于低二元应对的患者没有发现效果（$n$ =33; $d$ =0.12; 95%CI：-0.57-0.80），而对于基线时高二元应对的患者预测有大的效果（$d$ =1.00; 95%CI：0.68-1.32; $n$ =167）。模型的自举偏差校正性能为$R^2$ =27.74%（RMSE=13.22）。
2023-03-15 stat.AP stat.ME stat.ML
