Bias-corrected Cox regression with AI-extracted covariates via calibration summary statistics
Northwell Health
研究针对协变量受AI提取误差影响的情况，为Cox比例风险模型开发偏差校正框架，通过多变量校准框架分解偏差，给出校正估计器、置信区间及诊断方法，经合成数据实验验证可有效减少偏差并实现接近名义覆盖。
2026-07-29 stat.ME stat.ML
Smoothed isotonic estimators of a monotone baseline hazard in the Cox model
考虑Cox模型中单调基线风险率$λ_0$的光滑极大似然估计和光滑Grenander型估计。我们分析了它们的渐近行为，并表明，它们是渐近正态的速率$n^{m/(2m+1)}$，当~ $λ_0$是$m\geq 2$倍连续可微的，这两个估计是渐近等价的。最后，我们提出了逐点置信区间的数值结果，说明了这两种方法的可比行为。
2018-05-17 math.ST stat.TH
Black-Box Model Confidence Sets Using Cross-Validation with High-Dimensional Gaussian Comparison
本文推导了V折交叉验证风险估计的高维高斯比较结果，为候选模型数大于样本量时的模型置信集构建提供了理论支持。
2023-11-13 math.ST stat.ME stat.TH
Cross-validation Confidence Intervals for Test Error
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）；Microsoft Research New England（微软研究院新英格兰分院）
本文在弱稳定性条件下，建立了交叉验证的中心极限定理和渐近方差的相合估计量.总之，这些结果为$k$倍检验误差提供了实际的、渐近精确的置信区间，并为一种学习算法是否具有比另一种更小的$k$倍检验误差提供了有效的、强大的假设检验。这些结果也是流行的留一交叉验证方法的第一个结果。在我们使用不同学习算法的真实数据实验中，所得到的区间和测试优于文献中最流行的替代方法。
2020-10-31 cs.LG math.ST stat.ML
T-SCI: A Two-Stage Conformal Inference Algorithm with Guaranteed Coverage for Cox-MLP
IIIS, Tsinghua University（清华大学交叉信息研究院）
删失数据的处理具有挑战性，因为我们只能获得生存时间的不完全信息，而不能获得其确切值。幸运的是，在线性预测假设下，人们可以使用Cox回归等方法获得生存时间置信区间的保证覆盖率。然而，当用神经网络放松线性假设时（例如，Cox-MLP（Katzman等人，2018; Kvamme等人，2019年，我们失去了保障。为了在没有线性假设的情况下恢复保证覆盖，我们提出了两种基于保形推理的算法。在第一个算法WCCI中，我们重新加权共形推理，并引入了一个新的不符合分数的基础上偏似然。然后，我们提出了一个两阶段的算法T-SCI，我们在第一阶段运行WCCI，并在第二阶段应用分位数共形推理来校准结果。理论分析表明，T-SCI返回保证覆盖率比WCCI温和的假设。我们使用不同的方法对合成数据和真实数据进行了大量的实验，验证了我们的分析。
2021-04-14 cs.AI cs.DS cs.LG
Isotonized smooth estimators of a monotone baseline hazard in the Cox model
考虑Cox模型中单调基线风险的两个保序光滑估计，一个是最大光滑似然估计，另一个是基于累积基线风险的光滑Breslow估计的Grenander型估计.我们证明了它们在速率$n^{m/(2m+1)}$下都是渐近正态的，其中$m\geq 2$表示所考虑的平滑水平，并且我们将它们的极限行为与Lopuhaä和Musta（2016）中研究的核平滑保序估计量联系起来。结果表明，Grenander型估计量与核平滑保序估计量是渐近等价的，而最大平滑似然估计量具有相同的渐近方差，但有不同的偏差。最后，我们提出了逐点置信区间的数值结果，说明了这两种方法的可比行为。
2018-05-17 math.ST stat.TH
confidence-planner: Easy-to-Use Prediction Confidence Estimation and Sample Size Planning
Poznan University of Technology（波兹南理工大学）；Polish Academy of Sciences（波兰科学院）；MNM Bioscience（MNM生物科学公司）
机器学习应用，特别是在医学和社会科学领域，正慢慢受到越来越多的审查。与临床和社会研究中执行的样本量规划类似，立法者和资助机构可能期望在影响社会的机器学习应用中进行统计不确定性估计。在本文中，我们提出了一个易于使用的python包和web应用程序，用于估计预测置信区间。该软件包提供了八种不同的程序，以确定和证明样本量和预测的信心，从保持，自助，交叉验证，逐步验证实验。由于该软件包直接构建在已建立的数据分析库上，因此它可以无缝集成到预处理和探索性数据分析步骤中。与本文相关的代码可在https://github.com/dabrze/confidence-planner上获得。
2023-01-12 cs.LG stat.ME
Cross validation approaches for penalized Cox regression
University of Iowa（爱荷华大学）
本文提出两种新的Cox回归交叉验证方法，通过模拟数据和肺癌生存研究数据验证其在性能和数值稳定性上的优势。
2019-05-24 stat.ME
Cheap subsampling bootstrap confidence intervals with applications to longitudinal causal inference
University of Copenhagen（哥本哈根大学）；Steno Diabetes Center Copenhagen（哥本哈根斯泰诺糖尿病中心）
提出一种基于Cheap Bootstrap的快速子抽样自助法，利用t分布分位数在少量重复下实现渐近线性估计量的理想覆盖率，并验证了其在半参数因果推断中的有效性与性能。
2026-10-02 stat.AP stat.ME
Orthogonal Validation-Augmented Cox Regression with Internally Validated Failure Indicators Cross-Fitted Estimation, Risk-Set Linearization, and Validation Design
Michigan State University（密歇根州立大学）
针对内部验证样本仅能提供部分金标准事件分类的问题，提出正交验证增强Cox（OVAC）回归，该方法可降低经验方差，实现双稳健识别与校准推断，为Cox估计提供机器学习兼容方案及验证设计指导。
2026-09-01 stat.ME
Semiparametric Receiver Operating Characteristic Analysis in the Presence of an Imperfect Reference Standard via a Box-Cox Density Ratio Model
University of Waterloo（滑铁卢大学）
针对不完美参考标准下的ROC分析，提出基于Box-Cox密度比模型的半参数方法，自动估计变换参数，结合经验似然和EM算法，实现准确稳定的估计与推断。
2026-09-28 stat.ME
Vaccine sieve analysis on deep sequencing data using competing risks Cox regression with failure type subject to misclassification
University of Washington（华盛顿大学）；Fred Hutchinson Cancer Center（弗雷德·哈钦森癌症中心）；Kaiser Permanente Washington Health Research Institute（凯撒永久华盛顿健康研究所）
本文提出利用竞争风险Cox回归的疫苗筛分析方法，用于深度测序数据中考虑个体病毒多样性，以提高疫苗效力估计的准确性。
2025-12-10 stat.AP stat.ME
Test Error Estimation after Model Selection Using Validation Error
当使用来自样本分裂和交叉验证的验证误差选择的模型执行监督学习时，验证误差的最小值可以向下偏置。我们提出了两个简单的方法，使用验证步骤中产生的误差来估计测试误差后，模型选择，我们专注于我们选择的情况下，通过最小化验证误差和随机验证误差。我们的方法不需要模型改装，额外的计算成本可以忽略不计。在样本分裂的情况下，我们证明了在适当的假设下，所提出的检验误差估计具有大小为$o(1/\sqrt{n})$的偏差。在此基础上，我们还提出了利用自举法来构造检验误差的置信区间。我们将我们提出的方法应用到一些模拟和检查它们的性能。
2018-02-11 stat.ME
On the Use of C-index for Stratified and Cross-Validated Cox Model
我们开发了一个基线调整的C指数来评估拟合的Cox比例风险模型。该度量在评估分层Cox模型以及使用交叉验证的模型选择时特别有用。我们的度量能够比较层或交叉验证折叠中的所有可比较个体对，而不是仅在相同层/折叠内的对。通过模拟和实际数据应用表明，基线调整C指数更稳定，在高维$L^1$惩罚Cox回归中选择更好的模型。
2019-11-21 stat.ME
Upper Confidence Bounds for the Prediction Error of Kernel Ridge Regression via Gaussian Refitting
Georgia Institute of Technology（佐治亚理工学院）
该研究针对核岭回归预测误差，提出高斯重拟合方法得到上置信界，其收缩速率符合极小极大理论，实证覆盖性优于交叉验证，还可扩展到非线性约束估计器与空间数据。
2026-08-03 stat.ME
Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction
Stanford University（斯坦福大学）
我们开发了共形预测方法，用于在多类和多标签问题中构建有效的预测置信集，而无需假设数据生成分布。这里的一个挑战是，典型的共形预测方法-提供边际有效性（覆盖率）保证-提供不均匀的覆盖率，因为它们以基本上忽略困难的例子为代价来解决简单的例子。通过利用分位数回归的思想，我们建立的方法，总是保证正确的覆盖率，但另外提供（渐近最优）的条件覆盖多类和多标签预测问题。为了解决多标签预测中指数级大置信度集的潜在挑战，我们构建了树结构分类器，有效地解释了标签之间的相互作用。我们的方法可以被固定在任何分类模型之上-神经网络，随机森林，提升树-以保证其有效性。我们还提供了一个实证评估，同时提供新的验证方法，这表明我们的信心集更强大的覆盖范围。
2020-07-10 cs.LG stat.ME stat.ML
A novel algorithm for confidence sub-contour box estimation: an alternative to traditional confidence intervals
对于非线性模型，因子估计过程是一项非常具有挑战性的任务。即使研究人员成功地估计了模型因子，他们仍然必须估计它们的置信区间，这可能需要很高的计算成本才能将它们转化为信息度量。文献中的一些方法试图估计估计搜索空间内的区域，其中因子可能共同存在并拟合真实数据（置信度轮廓），然而，随着因子数量的增加，其估计过程提出了几个问题。因此，在本文中，我们专注于估计的一个子区域内的置信轮廓，我们称之为置信子轮廓盒（CSB）。我们提出了两个主要的算法CSB估计，以及其解释和验证。考虑到我们估计CSB的方式，我们期望并验证了这种新的置信区间的一些有用的性质：用户定义的不确定性水平，非对称区间，与每个因素的区间长度相关的敏感性评估，以及识别真正的影响因素。
2019-10-08 stat.ME
An Accurate Computational Approach for Partial Likelihood Using Poisson-Binomial Distributions
针对Cox模型偏似然近似计算不精确的问题，提出基于泊松-二项分布精确计算条件概率的方法，统一处理有结与无结数据，减少偏差和均方误差，提高置信区间覆盖率。
2025-02-26 stat.ME
Cross-validatory Z-Residual for Diagnosing Shared Frailty Models
残差诊断方法在评估模型假设和检测统计建模中的异常值方面发挥着关键作用。在具有删失观察值的生存模型的背景下，Li等人（2021）引入了Z残差，其在真实模型下近似遵循正态分布。这个属性使得可以使用Z残差来诊断生存模型，其方式类似于Pearson残差在正态回归中的使用方式。然而，基于完整数据集计算残差可能会导致保守偏倚，从而降低检测模型错误指定的能力，因为相同的数据集用于模型拟合和验证。虽然交叉验证是解决这个问题的一种潜在方法，但由于计算上的挑战，它还没有被广泛用于残差诊断。在本文中，我们提出了一个交叉验证方法计算Z-残差的背景下，共享的脆弱性模型。具体来说，我们开发了一个通用函数，使用R中\texttt{survival}包中的\texttt{coxph}函数的输出计算交叉验证Z残差。我们的模拟研究表明，对于拟合优度检验和离群值检测，交叉验证Z残差比没有交叉验证的Z残差更强大，更具鉴别力。我们还比较了Z-残差的性能，以及在没有交叉验证的情况下，在对肾脏感染患者的复发时间进行建模的实际应用中识别离群值。我们的研究结果表明，交叉验证Z残差可以识别Z残差遗漏的离群值，而无需交叉验证。
2023-03-16 stat.ME
Assessing and tuning brain decoders: cross-validation, caveats, and guidelines
解码，即根据大脑图像或信号进行预测，需要对其预测能力进行经验评估。这种评估是通过交叉验证来实现的，交叉验证也是一种用于调整解码器超参数的方法。本文综述了神经影像学中的交叉验证解码方法。它包括对相关理论考虑的教学性概述。实用方面突出了广泛的实证研究的共同解码器内和跨学科的预测，在多个数据集-解剖和功能MRI和MEG-和模拟。理论和实验表明，流行的“留一法”策略会导致不稳定和有偏估计，应首选重复随机分裂方法。实验概述了神经成像设置中交叉验证的大误差线：典型的置信区间为10%。嵌套交叉验证可以调整解码器的参数，同时避免循环偏差。然而，我们发现，使用合理的默认值可能更有利，特别是对于非稀疏解码器。
2016-11-07 stat.ML
Winners with Confidence: Discrete Argmin Inference with an Application to Model Selection
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种在高维和存在平局情况下，通过整合交叉验证和差分隐私技术，实现渐近正态检验统计量的离散argmin推断方法，并在模型选择中展示其优良的偏差-方差权衡性能。
2026-01-16 math.ST stat.ME stat.ML
Uniform confidence bands for nonparametric errors-in-variables regression
本文提出了一种构造预测变量受测量误差影响的非参数回归函数的均匀置信带的方法。我们允许测量误差的分布是未知的，但假设验证数据或重复测量的潜在预测变量的可用性。建议的置信带建立在反卷积核估计和一个新的应用程序的乘数自助法。我们建立了建议的置信带的渐近有效性。据我们所知，这是第一个文件，以获得渐近有效的一致置信带的非参数误差变量回归。
2019-06-13 math.ST stat.TH
The Relative Instability of Model Comparison with Cross-validation
Department of Statistics, Harvard University, Cambridge, MA, USA（哈佛大学统计系）；Microsoft Research New England, Cambridge, MA, USA（微软研究院新英格兰分部）
研究指出即使个体稳定的模型在比较时也可能产生相对不稳定的结果，挑战了交叉验证推断的有效性，特别指出Lasso和软阈值化在最有利的学习条件下仍会导致无效的交叉验证推断。
2026-06-04 cs.LG stat.ML
Robustness investigation of cross-validation based quality measures for model assessment
Ansys Germany GmbH（安sys德国有限公司）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Ansys Austria GmbH（安sys奥地利有限公司）
本文研究基于交叉验证的机器学习模型评估质量度量的准确性与鲁棒性，通过数值算例验证其可靠性，并估计置信界及推导局部质量度量。
2024-10-04 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Bootstrapping the Cross-Validation Estimate
针对交叉验证估计值不确定性量化现有方法存在严格假设等局限，本文提出一种快速自助法，通过随机效应模型估计方差分量解决计算难题，可快速估计标准误并生成有效置信区间，经模拟和真实数据分析验证了有效性。
2025-09-03 math.ST stat.ME stat.ML
ScoreStop: Gradient-based early stopping using functional score tests
University of California, Berkeley（加州大学伯克利分校）
提出ScoreStop方法，通过函数得分检验在每次迭代中检验当前预测器是否为总体风险最小化器，从而在梯度提升决策树中实现基于梯度的早期停止，避免过拟合。
2026-06-01 cs.LG stat.ML
Cross Validation for the log Gaussian Cox Process
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lund University School of Economics and Management（隆德大学经济与管理学院）；University of Glasgow（格拉斯哥大学）；Norwegian University of Science and Technology（挪威科技大学）
针对对数高斯 Cox 过程，提出留区域交叉验证框架，采用对数评分规则与贝叶斯遗忘及拉普拉斯近似高效计算预测分布，并在多种数据集和软件包中验证。\n
2026-09-17 stat.ME
How response designs and class proportions affect the accuracy of validation data
为验证土地覆盖图而收集的参考数据一般被认为没有错误。然而，在实践中，它们包含错误，尽管尽一切努力将其最小化。然后，这些误差传播到准确度评估阶段，并影响验证结果。对于照片判读的参考数据，研究最广泛的三个误差来源是系统性错误标签、警惕性下降和人口统计学因素。内部估计误差，响应设计固有的错误，影响参考数据的准确性，是远远不够理解。我们分析了估计误差对两种类型的图例以及具有一系列子样本量的基于点和基于分区的响应设计的影响。我们发现，响应设计的准确性取决于类比例内的抽样单元，与复杂的景观更容易出错。因此，子样本数量固定的响应设计效率低下，并且参考数据集的标签具有不一致的置信水平。为了控制估计误差，保证验证数据的高准确度标准，并尽量减少数据收集工作，我们建议依赖于照片解释数据的置信区间来定义应标记多少个子样本。在实践中，子样本被迭代地选择和标记，直到估计的类比例达到期望的置信水平。因此，在标记明显的案件上花费的精力较少，可以将多余的精力分配给更复杂的案件。这种方法可以减少50%至75%的标签工作，在我们的研究地点，在同质景观更大的收益。我们认为，采用这种优化方法不仅可以提高参考数据收集的效率，还有助于向用户社区提供可靠的准确性估计。
2019-06-27 stat.AP
Cross-validation: what does it estimate and how well does it do it?
该研究揭示交叉验证等方法实际估计的是同总体其他训练集模型的平均预测误差，指出常规交叉验证置信区间因折间相关覆盖率不足，提出嵌套交叉验证方案以更准确估计方差，提升区间覆盖率。
2022-07-18 math.ST stat.CO stat.ME
Wild Bootstrap based Confidence Bands for Multiplicative Hazards Models
我们提出了新的基于重采样的方法来构造多状态Cox模型中累积风险函数的渐近有效的时间同时置信带。特别是，我们详细讨论了简单Cox模型的方法与不定常协变量，其中的数据可能会受到独立的右删失或左截断。在广泛的模拟，我们调查他们的有限样本行为。最后，对一个实例进行了分析.
2018-08-01 math.ST stat.ME stat.TH
Improving Transportability of Regression Calibration Under the Main/External Validation Study Design
Yale School of Public Health（耶鲁大学公共卫生学院）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Yale School of Medicine（耶鲁大学医学院）
本研究改进了外部验证研究中回归校准方法的可移植性，通过结合外部验证研究和主研究数据，减少偏倚并提高估计准确性。
2025-03-29 stat.ME
Cox reduction and confidence sets of models: a theoretical elucidation
本文从理论上分析Cox与Battey的变量约简及模型置信集构造，刻画保留模型的几何特征，比较惩罚回归与边际筛选方案，并指出改进方向。
2025-06-09 math.ST stat.ME stat.TH
Cross-Validation with Confidence
交叉验证是统计学和机器学习中最流行的模型选择方法之一。传统的交叉验证方法虽然具有广泛的适用性，但由于忽略了测试样本中的不确定性，往往会选择过拟合模型。我们开发了一个新的，统计原则的推理工具的基础上交叉验证，考虑到测试样本中的不确定性。这种新方法输出一组高度竞争的候选模型，其中包含具有保证概率的最佳模型。因此，我们的方法可以在经典的线性回归设置中实现一致的变量选择，而现有的交叉验证方法需要非常规的分割比。当用于正则化调整参数选择时，该方法可以提供预测精度和模型可解释性之间的进一步权衡。我们证明了所提出的方法在几个模拟和真实数据的例子的性能。
2017-12-22 stat.ME stat.ML
Multi-Dimensional Composite Endpoint Analysis via the Choquet Integral: Block Recurrent Encoding and Comparative Advantage Mapping
Nisantasi University Medical School（尼桑塔西大学医学院）
本文提出CWOT-CE方法，通过非加性模糊测度整合六个终点维度，优于传统方法，在高相关性和多成分效应场景中表现更优，提供更直观的解释。
2026-04-09 stat.AP stat.ME
Hypothesis Testing for Validation and Certification
我们开发了一个假设检验的框架，制定的问题1）验证的仿真模型和2）使用建模来证明物理系统的性能。这些结果用于解决外推验证和认证问题，即感兴趣的制度与我们有实验数据的制度不同的问题。我们使用测量集中理论来开发测试并分析它们的误差。这项工作受到Lucas，Owhadi和Ortiz的工作的刺激，其中描述和测试了严格的验证和认证方法。在一个评论中，我们描述了这两种方法之间的联系。此外，正如在这项工作中提到的，这些结果在边际和非边际量化（QMU）框架中具有重要意义。特别是，在一句话中，我们描述了它如何提供了一个严格的解释的概念的信心和新的概念的利润率和不确定性，允许这种解释。由于上述测试中使用的某些浓度参数可能是未知的，我们还显示，在后半部分的文件，如何获得同样强大的测试，估计他们从样本数据，从而取代假设的浓度参数的值较弱的假设。这篇论文基本上是2010年4月10日一篇论文的精确副本。
2013-02-26 math.PR stat.ME
Post-Selection Confidence Bounds for Prediction Performance
University of Bremen（不来梅大学）
在机器学习中，从潜在的大量竞争模型中选择有希望的模型并评估其泛化性能是需要仔细考虑的关键任务。通常，模型选择和评估是严格分开的工作，将手头的样本分成训练、验证和评估集，并且仅计算最终选择的模型的预测性能的单个置信区间。然而，我们提出了一种算法，如何计算有效的置信下限的多个模型，已被选定的基础上，其预测性能的评估集解释的选择问题作为一个同时推理问题。我们使用引导倾斜和最大T型多重校正。该方法普遍适用于预测模型的任何组合、任何模型选择策略以及接受权重的任何预测性能度量。我们进行了各种模拟实验，结果表明，我们提出的方法产生的置信下限，至少是从标准方法的界限，并可靠地达到标称覆盖率。此外，特别是当样本量是小的，我们提出的方法产生更好的性能预测模型比默认选择只有一个模型进行评估。
2023-02-03 cs.LG stat.ML
Deep Confidence: A Computationally Efficient Framework for Calculating Reliable Errors for Deep Neural Networks
University of Cambridge（剑桥大学）
深度学习架构已被证明在许多药物发现应用中是通用的，包括体外化合物活性的建模。虽然控制预测置信度对于提高药物发现中虚拟筛选模型的信任度、可解释性和有用性至关重要，但估计深度学习网络生成的预测可靠性的技术在很大程度上仍有待探索。在这里，我们提出了Deep Confidence，这是一个使用深度学习技术快照集成和保形预测来计算个体预测的有效和高效置信区间的框架。具体而言，深度置信度通过记录在单个神经网络的优化阶段期间访问的整个局部最小值的网络参数来生成深度神经网络的集合。该方法用于导出一组基本学习器（即，快照），其平均具有相当的预测能力，然而，对于给定实例，其将生成略微不同的预测。基础学习者之间的变异性和验证残差又被利用来使用共形预测框架计算置信区间。使用来自ChEMBL 23的一组24个不同的IC50数据集，我们表明快照集成与随机森林（RF）和独立训练的深度神经网络集成的性能相当。此外，我们发现使用深度置信度框架预测的置信区域跨越更窄的值集。总体而言，Deep Confidence代表了一个高度通用的错误预测框架，可以应用于任何基于深度学习的应用程序，而无需额外的计算成本。
2018-09-24 cs.AI cs.LG q-bio.QM
Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles
University of Amsterdam（阿姆斯特丹大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
我们研究了学习推迟（L2 D）多个专家的统计特性。特别是，我们解决了开放的问题，得出一致的替代损失，信心校准，和原则的专家。首先，我们推导出两个一致的替代项-一个基于softmax参数化，另一个基于one-vs-all（OvA）参数化-分别类似于Mozannar和Sontag（2020）以及Verma和Nalisnick（2022）提出的单个专家损失。然后我们研究了框架估计P（m_j = y）的能力|x），第j个专家将正确预测x的标签的概率。理论表明，基于softmax的损失会导致错误校准在估计值之间传播，而基于OvA的损失不会（尽管在实践中，我们发现存在权衡）。最后，我们提出了一个共形推理技术，选择一个子集的专家查询时，系统推迟。我们对星系，皮肤病变和仇恨言论分类的任务进行经验验证。
2023-02-23 cs.LG stat.ML
Cross-Validation and Uncertainty Determination for Randomized Neural Networks with Applications to Mobile Sensors
Institute of Statistics, RWTH Aachen University（亚琛工业大学统计研究所）；Forschungszentrum Jülich, Institut für Energie- und Klimaforschung, IEK-5（于利希研究中心能源与气候研究所 IEK-5）
随机人工神经网络如极限学习机为有限计算资源下的监督学习和绿色机器学习提供了一种有吸引力和有效的方法。这尤其适用于为移动设备（传感器）配备弱人工智能时。结果讨论了监督学习与这样的网络和回归方法的一致性和范围的推广和预测误差。特别是，最近的一些结果进行了审查，解决学习与移动传感器采样的数据，导致非平稳和相关的样本。由于随机网络导致随机的样本外性能指标，我们研究了一种交叉验证方法来处理随机性，并利用它来提高样本外性能。此外，计算有效的方法来确定所产生的不确定性的平均样本外预测误差的置信区间的基础上讨论了两阶段估计。该方法被应用到车辆集成photochemics中出现的预测问题。
2021-01-06 cs.LG eess.SP stat.AP
Information Theoretic Structure Learning with Confidence
Yale University（耶鲁大学）；University of Michigan（密歇根大学）
信息论的措施（如Kullback Liebler分歧和香农互信息）已被用于探索可能的非线性多元依赖在高维。如果假设这些依赖关系遵循马尔可夫因子图模型，则该探索过程称为结构发现。对于离散值样本，估计的信息分歧的参数类多项式模型导致结构发现方法的均方误差实现参数收敛率的样本大小的增长。然而，这种方法的一个天真的应用程序连续非参数多变量模型收敛得慢得多。在本文中，我们介绍了一种新的方法，非参数结构的发现，使用加权系综发散估计，实现参数收敛速度，并遵守渐近中心极限定理，有利于假设检验和其他类型的统计验证。
2016-09-13 cs.IT cs.LG math.IT
Collective Reasoning Among LLMs: A Framework for Answer Validation Without Ground Truth
Independent Researcher in AI and Statistics（人工智能与统计学独立研究者）；Shahrood University of Technology（沙霍罗德大学）；University of Pittsburgh（匹兹堡大学）；Duquesne University（杜克森大学）
提出多模型协作框架，让GPT-4、LLAMA-3、Claude-3和Gemini-1.5协同生成并解答博士级概率问题，通过卡方检验等统计方法评估模型间一致性，在无真实答案下验证答案可靠性并改进问题质量。
2025-08-09 cs.AI cs.CL stat.AP
Reliable Prediction Errors for Deep Neural Networks Using Test-Time Dropout
University of Cambridge（剑桥大学）
虽然深度学习在药物发现中的应用越来越受到关注，但缺乏计算神经网络预测中可靠错误的方法，阻碍了它们在识别不可靠预测至关重要的领域（例如精准医学）中指导决策的应用。在这里，我们提出了一个框架来计算可靠的误差预测神经网络使用测试时丢弃和共形预测。具体来说，该算法包括使用dropout训练单个神经网络，然后将其应用于验证集和测试集N次，在此步骤中也使用dropout。因此，对于验证和测试集中的每个实例，生成了预测集合。然后使用验证集的预测残差和绝对误差来计算使用保形预测的测试集实例的预测误差。我们使用来自ChEMBL 23的24个生物活性数据集表明，dropout Conformal Predictors是有效的（即，其真实值位于预测区间内的实例的分数与置信水平强相关）和有效，因为预测置信区间跨越的值集合比使用随机森林（RF）模型生成的共形预测器计算的值集合窄。最后，我们在回顾性虚拟筛选实验中显示，dropout和基于RF的共形预测因子导致活性化合物的检索率相当。总的来说，我们提出了一个计算效率高的框架（因为除了训练单个网络之外，只需要N次额外的向前传递）来利用测试时丢弃和共形预测框架，从而为深度神经网络生成可靠的预测误差。
2019-04-12 cs.LG stat.ML
Asymptotics of Cross-Validation
交叉验证是评估机器学习和统计模型性能的核心工具。然而，尽管它无处不在的作用，它的理论性质仍然没有得到很好的理解。本文研究了一大类模型的交叉验证风险的渐近性质。在稳定性条件下，我们建立了一个中心极限定理和Berry-Esseen界，使我们能够计算渐近精确的置信区间.使用我们的结果，我们描绘了一个大画面的统计速度的交叉验证相比，训练测试分裂过程。我们的结果的一个推论是，参数M-估计（或经验风险最小化）受益于“全面”的速度加快时，执行交叉验证下的训练损失。在其他常见情况下，例如当使用替代损失或正则化器进行训练时，我们表明交叉验证风险的行为是复杂的，方差减少可能小于或大于“完全”加速，这取决于模型和底层分布。我们允许折叠的数量以任何速率随着观察的数量而增长。
2020-06-27 math.ST stat.TH
Uniform Confidence Band for Optimal Transport Map on One-Dimensional Data
本文针对实数分布间的最优传输映射，推导了估计误差一致范数的极限分布，并据此构建了基于核平滑自助法的一致置信带，提供了渐近覆盖概率保证。
2024-02-15 math.ST stat.TH
Calibration of prediction rules for life-time outcomes using prognostic Cox regression survival models and multiple imputations to account for missing predictor data with cross-validatory assessment
Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们扩大了方法，在Mertens等。al（2020，Biometrical Journal）的研究，该研究受删失的影响，并且当插补用于解释缺失值时。我们考虑的问题，缺失值可能会发生在校准数据以及新的预测观测（验证）。我们关注的是考克斯模型。描述了在删失的生存建模中将插补与预测校准相结合的方法。交叉验证的应用进行了讨论。我们展示了结论如何广泛地证实了第一篇仅限于二元结果研究的论文。具体来说，预测平均似乎具有优越的统计特性，特别是较小的预测变化，而不是直接应用鲁宾的规则。当使用鲁宾的基于规则的方法时，讨论了处理基线危险的不同方法。
2021-05-04 cs.LG stat.AP stat.ME
Sensitivity analysis for random measurement error using regression calibration and simulation-extrapolation
在没有验证数据的情况下，可通过回归校准和模拟外推法对测量误差进行敏感性分析。没有为此目的进行比较。在多变量模型中进行了模拟研究，比较了回归校准和模拟外推的性能。根据偏倚、均方误差（MSE）和置信区间覆盖率、易错测量的范围可靠性（0.2-0.9）、样本量（125- 1，000）、重复次数（2-10）和R平方（0.03-0.75）评价了两种方法的性能。假设没有关于无误差测量的验证数据，而正确估计了测量误差方差。在各种情况下，回归校准无偏，而模拟外推有偏：中位偏倚分别为1.4%（四分位距（IQR）：0.8;2%）和-12.8%（IQR：-13.2;-11.0%）。观察到模拟外推（中位MSE：0.005，IQR：0.004;0.006）与回归校准（中位MSE：0.006，IQR：0.004;0.007）相比，效率略有提高。回归校准的置信区间覆盖率为95%的标称水平，模拟外推的置信区间覆盖率小于95%（中位覆盖率：92%，IQR：85;94%）。在没有验证数据的情况下，建议使用回归校准进行测量误差的敏感性分析。
2021-06-08 stat.AP
Post-Selection Inference for the Cox Model with Interval-Censored Data
针对区间删失数据下的Cox模型，提出基于lasso的选择后推断方法，提供渐近有效的p值和置信区间，模拟与阿尔茨海默病应用验证了其有效性。
2023-12-30 stat.ME
Confidence Intervals for Stochastic Arithmetic
量化工业科学计算代码中使用浮点（FP）计算所导致的错误和损失是验证、确认和不确定性量化（VVUQ）过程的重要组成部分。随机算法是一种建模和估计FP精度损失的方法，它可以很好地扩展到大型工业代码。它存在于不同的风格中，如CESTAC或MCA，在各种工具中实现，如CADNA，Verifironlo或Verrou。这些方法和工具是基于这样的想法，即FP的准确性损失可以通过随机性来建模。因此，他们都需要对程序结果进行统计分析，以估计结果的显著性。在本文中，我们提出了一个框架，执行一个坚实的统计分析的随机算术。该框架统一了所有现有的有效数字的定义（CESTAC和MCA），并提出了一个新的感兴趣的数量：数字的数量有助于结果的准确性。声音置信区间提供了所有估计，无论是在正态分布的结果的情况下，在一般情况下。这个框架的使用证明了两个案例研究的大型，工业代码：Europlexus和code_aster。
2021-04-30 cs.NA math.NA stat.AP
The R package $\texttt{ebmstate}$ for disease progression analysis under empirical Bayes Cox models
软件包$\texttt{mstate}$与软件包$\texttt{survival}$相结合，不仅提供了一个完善的R语言多状态生存分析框架，而且也是最完整的框架之一，因为它包括相对转移风险、累积转移风险和状态占用概率的点估计和区间估计，都是在时钟向前和时钟重置模型下;个性化估计值，即具有特定协变量测量值的个体的估计值，也可以通过拟合Cox回归模型用$\texttt{mstate}$获得。新的R包$\texttt{ebmstate}$，我们目前在本文中，是一个扩展的$\texttt{mstate}$，据我们所知，第一个R包的多状态模型估计，适用于高维数据和完整的意义上刚才提到的。它是对$\texttt{mstate}$的三方面扩展：它将Cox模型转换成一个正则化的经验贝叶斯模型，该模型在高维数据下表现得更好;它用非参数bootstrap置信区间代替了用于低维设置的渐近置信区间;它引入了一个分析性的，时钟重置模型的状态占用概率的基于傅立叶变换的估计器，比$\texttt{mstate}$中相应的基于仿真的估计器快得多。本论文包括一个详细的教程，如何使用我们的包来估计过渡危险和状态占用概率，以及模拟研究，显示它如何提高性能的$\texttt{mstate}$。
2022-01-19 stat.CO stat.ME
Second order semi-parametric inference for multivariate log Gaussian Cox processes
本文介绍了一种新的方法来推断具有复强度函数的多元对数高斯Cox过程（LGCP）的二阶性质。我们假设一个半参数模型的多变量强度函数包含一个未指定的复杂因素共同的所有类型的点。鉴于此模型，我们利用几种类型的点的可用性来构建一个二阶条件复合似然来推断LGCP的对相关和交叉对相关函数。重要的是，这种可能性不依赖于强度函数的未指定部分。我们还介绍了一个交叉验证方法的模型选择和正则化推理，可用于获得交叉对相关函数的稀疏模型的算法。该方法适用于模拟数据以及从显微镜和犯罪学的数据例子。这显示了新方法如何优于现有的替代方案，其中强度函数是非参数估计的。
2022-01-03 stat.ME
Cross validating extensions of kernel, sparse or regular partial least squares regression models to censored data
当交叉验证标准或扩展Cox模型时，常用的标准是使用朴素或van Houwelingen方案进行交叉验证的部分对数似然，以有效利用与所有数据的死亡时间相关的遗漏数据的死亡时间。相当令人惊讶的是，我们将显示，使用一个强大的模拟研究，涉及三种不同的数据模拟算法，这两种交叉验证方法失败的扩展，无论是简单的或更复杂的，部分最小二乘回归的Cox模型。这是一个非常有趣的结果，至少有两个原因。首先，基于PLS的模型的几个很好的特性，包括正则化，组件的可解释性，缺失数据支持，由于个体和变量的双图的数据可视化-甚至是基于SPLS的模型的简约性-统计学家通常使用交叉验证来选择他们的超参数。其次，它们几乎总是在基准研究中被用来评估在高维环境中使用的新估计技术的性能，并且通常显示出较差的统计特性。我们进行了大量的模拟研究，以评估十多个潜在的交叉验证标准，无论是基于AUC还是基于预测误差。其中几个导致选择合理数量的组件。使用这些新发现的交叉验证标准，以适应扩展的偏最小二乘回归的Cox模型，我们进行了基准重新分析，显示这些技术的增强性能。此外，我们定义了一个新的鲁棒性措施的基础上的Schmid得分和R系数的决定最小绝对偏差：综合R Schmid得分加权。使用R-包plsRcox进行模拟。
2018-10-06 stat.ME
Fast cross-validation for multi-penalty ridge regression
具有多种数据类型的高维预测需要考虑预测信号中潜在的强烈差异。岭回归是一种简单的高维数据模型，它挑战了许多更复杂的模型和学习器的预测性能，并且允许包含数据类型特定的惩罚。多惩罚岭的最大挑战是在交叉验证（CV）设置中有效地优化这些惩罚，特别是对于GLM和Cox岭回归，其需要通过迭代加权最小二乘（IWLS）进行额外的估计循环。我们的主要贡献是一个计算上非常有效的公式的多罚，样本加权帽矩阵，在IWLS算法中使用。因此，几乎所有的计算都是在低维空间中进行的，从而使速度提高了几个数量级。我们开发了一个灵活的框架，促进多种类型的响应，未惩罚的协变量，几个性能标准和重复CV。扩展配对和优惠的数据类型，包括和说明几个癌症基因组生存预测问题。此外，我们提出了类似的计算最大边际似然和贝叶斯概率回归的捷径。相应的R包multiridge是一个通用的独立工具，也是其他更复杂模型和多视图学习器的快速基准。
2021-04-01 stat.CO stat.ME stat.ML
Unifying approach to selective inference with applications to cross-validation
我们开发的工具做有效的后选择推理的一个家庭的模型选择程序，包括选择一个模型，通过交叉验证的套索。当以下随机向量是联合渐近多变量高斯时，这些工具普遍适用：1.由在某些模型选择标准下评估的每个模型的质量值组成的向量（例如跨折叠的交叉验证误差、AIC、预测误差等）2.我们从中对参数进行推断的检验统计量;值得注意的是，这里的参数是在执行模型选择方法之后选择的。在这些假设下，我们推导出一个具有渐近Unif（0，1）分布的关键量，该分布可用于执行检验和构建置信区间。检验和置信区间均对所选参数选择性有效。虽然在某些应用中可能不满足上述假设，但我们提出了一种新的变型，通过将高斯随机化添加到两个向量中的任一个来对这些模型选择过程进行修改。结果，上述随机向量的联合分布是多元高斯分布，并且我们的通用工具适用。我们通过将其应用于四个重要的程序来说明我们的方法，其中很少有选择性的推理结果已经开发出来：交叉验证的Lasso，交叉验证的随机Lasso，在一组固定的模型中基于AIC的模型选择和对新引入的新边缘LOCO参数的推理，受到Rinaldo et al（2016）的LOCO参数的启发;我们为这些情况提供了完整的结果。对于随机模型选择过程，我们开发了马尔可夫链蒙特卡罗抽样方案，以经验方式构建有效的后选择置信区间。
2018-02-12 stat.ME
