Efficient algorithms for decision tree cross-validation
交叉验证是机器学习中经常采用的有用且普遍适用的技术,包括决策树归纳。直接实现该技术的一个重要缺点是其计算开销。在本文中,我们表明,对于决策树,交叉验证的计算开销可以显着降低集成的交叉验证与正常的决策树归纳过程。我们将讨论如何现有的决策树算法可以适应这一目标,并提供这些适应可能产生的加速比的分析。实验结果支持了分析。
2001-10-17 cs.LG
Novel split quality measures for stratified multilabel Cross Validation with application to large and sparse gene ontology datasets
Institute of Biotechnology(生物技术研究所);Helsinki Institute of Life Sciences (HiLife)(赫尔辛基生命科学研究所(HiLife));University of Helsinki(赫尔辛基大学);Faculty of Biosciences(生物科学学院)
多标记学习是机器学习研究中的一个重要课题。在多标签设置中评估模型需要为多标签数据设计的特定交叉验证方法。在这篇文章中,我们证明了最广泛使用的交叉验证分割质量度量在具有强烈类别不平衡的多标签数据中表现不佳。我们提出了改进的措施和算法,optisplit,优化交叉验证分裂。我们提出了一个广泛的比较各种类型的交叉验证方法,其中我们表明,optisplit产生更多的交叉验证分裂比现有的方法,它是足够快的大基因本体(GO)数据集上使用。
2022-02-11 cs.LG q-bio.GN
A note on adjusting $R^2$ for using with cross-validation
University of Helsinki(赫尔辛基大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们展示了如何调整决定系数($R^2$)时,用于测量预测精度通过留一交叉验证。
2016-05-05 cs.AI cs.LG stat.ML
Fast Cross-Validation via Sequential Testing
Technische Universität Berlin(柏林工业大学)
随着当今数据集规模的不断增加,通过交叉验证在模型选择中找到正确的参数配置可能是一项非常耗时的任务。在本文中,我们提出了一种改进的交叉验证程序,它使用非参数检验加上序贯分析,以确定线性增加的数据子集的最佳参数集。通过快速消除表现不佳的候选项并尽可能长时间地保留有希望的候选项,该方法在保持完整交叉验证能力的同时加快了计算速度。理论上的考虑强调了我们的程序的统计能力。实验评估表明,与完全交叉验证相比,我们的方法将计算时间减少了120倍,对准确性的影响可以忽略不计。
2016-02-03 cs.LG stat.ML
e-Fold Cross-Validation for Recommender-System Evaluation
University of Siegen(锡根大学)
本文提出 e-fold 交叉验证,通过减少评估折数降低推荐系统评测能耗;在 6 个数据集和 5 种算法上相较 10 折验证节能 58.5%,结果差异仅 1.81%。
2024-12-02 cs.IR cs.LG
From Theory to Practice: Implementing and Evaluating e-Fold Cross-Validation
University of Siegen(锡根大学)
本文提出并评估可依据标准差稳定性提前停止的e-fold交叉验证,在15个数据集和10种算法上证明其可减少约40%开销且保持结果可靠。
2024-10-26 cs.AI cs.LG
Evaluation and Optimization of Leave-one-out Cross-validation for the Lasso
本文开发了一种生成计算Lasso留一交叉验证分段二次函数的算法,可精确求解全局或局部最优超参数,并支持近似计算以适用于更大数据集。
2025-11-01 cs.LG stat.CO stat.ML
Subject Cross Validation in Human Activity Recognition
Concordia University(康考迪亚大学)
K-fold Cross Validation通常用于评估分类器并调整其超参数。但是,它假设数据点是独立和相同分布(i.i.d.)的。从而可以随机和均匀地选择训练和测试集中使用的样本。在人类活动识别数据集中,我们注意到,由于不同的因素,由相同的受试者产生的样本可能是相关的。因此,k折交叉验证可能会高估活动识别器的性能,特别是当使用重叠滑动窗口时。在本文中,我们研究了主题交叉验证对人体活动识别性能的影响,无论是与非重叠和重叠滑动窗口。结果表明,k折交叉验证人为地将识别器的性能提高了约10%,当使用重叠窗口时甚至提高了16%。此外,我们没有观察到使用重叠窗口的任何性能增益。我们的结论是,人类活动识别系统应进行评估的主题交叉验证,重叠的窗口是不值得他们额外的计算成本。
2019-04-09 cs.LG stat.ML
A New Flexible Train-Test Split Algorithm, an approach for choosing among the Hold-out, K-fold cross-validation, and Hold-out iteration
University of Turin(都灵大学);University of Social Welfare and Rehabilitation Science(社会福利与康复大学);Brown University(布朗大学);Macquarie University(麦考瑞大学)
本文提出了一种灵活的训练-测试分割算法,通过评估不同验证策略对多种机器学习算法的影响,揭示了最佳验证方法取决于算法、数据集和评估指标的交互作用。
2026-01-01 cs.LG
Bootstrap Bias Corrected Cross Validation applied to Super Learning
Computational Centre, University of Bialystok(比亚韦斯托克大学计算中心);Institute of Informatics, University of Bialystok(比亚韦斯托克大学信息学院);Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw(华沙大学跨学科数学与计算建模中心)
超级学习器算法可以应用于组合多个基本学习器的结果,以提高预测质量。验证超级学习者结果的默认方法是嵌套交叉验证。Tsamardinos等人已经提出,嵌套的交叉验证可以由用于调整学习算法的超参数的响应来代替。我们将此思想应用于超级学习者的验证,并与其他验证方法,包括嵌套交叉验证进行了比较。对不同大小的人工数据集和7个真实的生物医学数据集进行了测试。该方法被称为Bootstrap偏倚校正,被证明是嵌套交叉验证的一种相当精确且非常经济的替代方法。
2020-03-18 cs.LG stat.ML
Aligning Validation with Deployment in Spatial Prediction: Target-Weighted Cross-Validation
Friedrich Schiller University Jena(耶拿弗里德里希-施勒辛格大学);ELLIS Unit Jena(耶拿ELLIS单位)
本文提出了一种基于加权交叉验证的部署导向验证框架,通过引入目标加权交叉验证(TWCV)来对齐验证任务与指定领域内预测任务的分布,以减少因采样偏差导致的预测误差。
2026-05-21 cs.LG stat.ML
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
Comparing Cluster-Based Cross-Validation Strategies for Machine Learning Model Evaluation
Instituto de Informática Universidade Federal do Rio Grande do Sul (UFRGS)(信息技术研究所 华东理工大学(UFRGS))
本文比较了基于聚类的交叉验证策略,并提出Mini Batch K-Means结合类别分层的新方法,在平衡数据集上降低偏差和方差,而不平衡数据集中传统分层交叉验证仍更稳健高效。
2025-08-26 cs.LG
Efficient Cross-Validation of Echo State Networks
Kaunas University of Technology(考纳斯理工大学)
回声状态网络(ESN)以其对时间序列的快速和精确的一次性学习而闻名。但它们通常需要良好的超参数调优以获得最佳性能。为此,良好的验证是关键,但通常使用单个验证分割。在这个相当实际的贡献,我们提出了几个方案,交叉验证ESN和介绍一个有效的算法来实现它们。在我们提出的进行$k$ -折叠交叉验证的方法中,主导已经相当快的ESN训练的时间复杂度的组件保持不变(不随$k$扩展)。与$k$成线性比例的组件仅在某些不太常见的情况下才开始占主导地位。因此,在许多情况下,ESN的$k$折叠交叉验证可以以与简单的单个分割验证几乎相同的时间复杂度完成。空间复杂度也可以保持不变。我们还讨论了ESN的拟议验证方案何时可能是有益的,并在几个不同的真实数据集上进行了实证研究。
2019-08-22 cs.LG stat.ML
Fast and Informative Model Selection using Learning Curve Cross-Validation
常见的交叉验证(CV)方法,如k折交叉验证或蒙特卡洛交叉验证,通过在大部分给定数据上重复训练学习器并在剩余数据上进行测试来估计学习器的预测性能。这些技术具有两个主要缺点。首先,它们在大型数据集上可能会不必要地慢。其次,除了对最终性能的估计之外,它们几乎没有对验证算法的学习过程提供任何见解。在本文中,我们提出了一种新的方法,基于学习曲线(LCCV)的验证。LCCV不是使用大部分训练数据创建训练测试分割,而是迭代地增加用于训练的实例的数量。在模型选择的背景下,它放弃了不太可能成为竞争力的模型。我们对AutoML基准测试的67个数据集进行了大规模实验,并根据经验表明,在超过90%的情况下,使用LCCV会导致与使用5/10倍CV相似的性能(最多1.5%的差异)。然而,它产生了大量的运行时间减少平均超过20%。此外,它还提供了重要的见解,例如可以评估获取更多数据的好处。这些结果与AutoML领域的其他进展正交。
2021-11-27 cs.LG
Robust importance-weighted cross-validation under sample selection bias
Delft University of Technology(代尔夫特理工大学)
原则上,样本选择偏差下的交叉验证可以通过对经验风险进行重要性加权来完成。然而,重要性加权的风险估计产生次优的超参数估计的问题设置中,大的权重出现的概率很高。我们研究了它的采样方差作为训练数据分布的函数,并引入了一个控制变量,以增加其鲁棒性问题大的权重。
2019-08-27 cs.LG stat.ML
Don't Waste Your Time: Early Stopping Cross-Validation
University of Freiburg(弗莱堡大学);ELLIS Institute Tübingen(图宾根ELLIS研究所)
本文研究在模型选择过程中早停交叉验证,通过在36个数据集上的实验证明该方法能显著加速收敛、扩大搜索空间并提升整体性能。
2024-08-02 cs.AI cs.LG
Estimating the Maximum Expected Value: An Analysis of (Nested) Cross Validation and the Maximum Sample Average
CWI(荷兰国家数学与计算机科学研究所)
我们研究了一般随机变量的最大期望值的两个最常见的估计的准确性:最大样本平均值的推广和交叉验证。没有无偏估计量存在,我们表明,它是不平凡的选择一个好的估计没有知识的随机变量的分布。我们调查和约束上述估计的偏差和方差,并证明了一致性。交叉验证的方差可以显着降低,但不能没有大的偏差风险。交叉验证的不同变体的偏差和方差被证明是非常依赖于问题的,错误的选择可能导致非常不准确的估计。
2013-03-01 cs.AI cs.LG stat.ME
Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters
University of Washington(华盛顿大学)
对于一个大类的正则化模型,留一法交叉验证可以有效地估计与近似留一法公式(ALO)。我们考虑调整超参数的问题,以优化ALO。我们推导出有效的公式来计算ALO的梯度和海森,并展示了如何应用二阶优化器来寻找超参数。我们证明了所提出的方法的实用性,通过寻找超参数的正则化逻辑斯谛回归和岭回归在各种现实世界的数据集。
2020-11-20 cs.LG stat.ML
Stability Regularized Cross-Validation
Department of Analytics, Marketing and Operations, Imperial Business School, UK(分析、营销与运营系,帝国商业学院,英国);Department of Industrial and Systems Engineering, Viterbi School of Engineering, University of Southern California, CA, USA(工业与系统工程系,维特里商学院,南加州大学,美国)
本文提出一种稳定性正则化的嵌套k折交叉验证方法,通过减少模型不稳定性来提升测试集性能并降低离样失望感。
2026-02-03 cs.LG math.OC stat.ML
Empirical investigation of multi-source cross-validation in clinical ECG classification
University of Turku(图尔库大学);University of Leeds(利兹大学)
本文实证比较K折与留一来源交叉验证在多源心电图分类中的表现,发现K折会系统性高估跨来源泛化性能,而留一来源交叉验证偏差接近零,更适用于评估模型在新医院等新来源上的真实准确率。
2024-10-23 cs.LG stat.ML
Model validation in machine learning: A scenario-based guide from hold-out splits to nested group cross-validation in biomedical and applied research
Erzurum Technical University(埃尔津詹技术大学);Firat University(菲拉特大学)
本文以场景化指南形式系统比较多种机器学习验证方法,指出无普适最优方案,强调独立单元须匹配部署目标且数据依赖操作须排除性能估计观测。
2026-10-02 cs.AI cs.LG
Charging Phase Health Indicators for Battery State-of-Health Estimation: A Systematic Comparison of CC, CV, and Combined Approaches under Cross-Battery Validation
研究针对电池健康状态估计,通过在NASA电池老化数据集上用留一电池法对恒流、恒压及组合指标集进行系统比较,发现CC + CV组合方法性能最佳,且传统评估高估实际准确性,还给出了指标选择实用指南。
2026-07-28 cs.LG
Accurate Bayesian Data Classification without Hyperparameter Cross-validation
King’s College London(伦敦国王学院)
我们扩展了标准的贝叶斯多变量高斯生成数据分类器考虑的共轭,正常的Wishart先验分布的推广,并推导出的超参数分析通过证据最大化。在高维数据制度的最佳超参数的行为进行了探讨。所得到的广义模型的分类精度是有竞争力的国家的最先进的贝叶斯判别分析方法,但没有通常的交叉验证的计算负担。
2017-12-28 cs.LG math.ST stat.ME
Blocked Cross-Validation: A Precise and Efficient Method for Hyperparameter Tuning
MIT - World Peace University(麻省理工学院-世界和平大学)
本文提出blocked cross-validation(BCV)方法,通过针对CV划分和学习器随机行为进行分块,在显著减少运行次数下提供比RCV更精确的误差估计,实现更高效超参数调优。
2023-07-31 cs.LG stat.ME
Efficient Cross-Validation for Sparse Linear Regression
Department of Analytics, Marketing and Operations, Imperial Business School, London, UK(分析、营销与运营系,帝国商务学院,伦敦,英国);Department of Industrial and Systems Engineering, Viterbi School of Engineering, University of Southern California, CA(工业与系统工程系,维特比工程学院,美国南加州大学,CA)
针对高维协变量矩阵和响应向量的稀疏线性回归,为选超参数常用k折交叉验证,但计算成本高。本文推导k折交叉验证损失的易处理松弛形式,减少计算量,结果表明其与成熟软件包有竞争力。
2026-07-07 cs.LG math.OC stat.ME
Choice of V for V-Fold Cross-Validation in Least-Squares Density Estimation
Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);Univ. Paris-Sud(巴黎南大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);Univ. Nice Sophia Antipolis(尼斯索菲亚·安提波利斯大学)
研究了最小二乘密度估计中模型选择的V折交叉验证方法。我们的目标是为选择V提供理论依据,以最小化所选估计量的最小二乘损失。我们首先证明了一个非渐近预言不等式的V-折叠交叉验证和它的偏差校正版本(V-折叠惩罚)。特别是,这个结果意味着V-折惩罚是渐近最优的非参数的情况下。然后,我们计算了V折交叉验证和相关标准的方差,以及模型选择性能的关键量的方差。我们表明,这些方差依赖于V像1+4/(V-1),至少在某些特定的情况下,这表明性能增加了很多从V=2到V=5或10,然后几乎是恒定的。总的来说,这可以解释采取V=5的常见建议-至少在我们的设置中,当计算能力有限时-,正如一些模拟实验所支持的那样。对于Monte-Carlo交叉验证,也被称为重复交叉验证,其中参数V被数据的随机分割数B所取代,也证明了方差的Oracle不等式和精确公式。
2015-10-11 cs.LG math.ST stat.TH
An a Priori Exponential Tail Bound for k-Folds Cross-Validation
University of Alberta(阿尔伯塔大学)
我们认为先验的泛化界交叉验证估计和学习者的稳定性。特别地,我们首先导出了n个独立随机变量的一般函数的指数Efron-Stein型尾不等式。接下来,在一些合理的稳定性概念下,我们使用这个指数尾界来分析由一般学习规则生成的假设的真实风险周围的k倍交叉验证(KFCV)估计的浓度。虽然积累的文献经常将这种集中归因于估计量的偏差和方差,但我们的界限将这种集中归因于学习规则的稳定性和折叠次数k。这一见解提出了有效的关注KFCV的实际使用,并建议研究方向,以获得可靠的经验估计的实际风险。
2017-06-19 cs.LG stat.ML
CVTT: Cross-Validation Through Time
Tinkoff(Tinkoff(廷科夫公司));Tinkoff Lab(Tinkoff实验室)
从实用的角度评价推荐系统是研究界正在进行的一个话题。虽然许多当前的评估方法将性能降低到单个值度量作为比较模型的简单方法,但它依赖于方法性能随时间保持不变的假设。在这项研究中,我们研究了这一假设,并提出了交叉验证思维时间(CVTT)技术作为一种更全面的评估方法,重点是随着时间的推移模型的性能。通过利用所提出的技术,我们进行了深入的分析流行的RecSys算法的性能。我们的研究结果表明:(1)对于所有已审查的数据集,评估器的性能随时间而变化;(2)使用简单的评估方法可能导致真实世界评估场景中的性能大幅下降;(3)过度使用数据可能导致次优结果。
2023-02-10 cs.LG
Minimax Limits of k-Fold Cross-Validation via Majority
University of Haifa(海法大学);EPFL(苏黎世联邦理工学院)
本文通过分析二元分类中多数投票算法的交叉验证均方误差,揭示了k折交叉验证的极小极大极限,证明当折数k随样本数n增长时,任何经验风险最小化算法的均方误差下界为Ω(√k/n)。
2026-06-23 cs.LG math.ST stat.TH
Irredundant $k$-Fold Cross-Validation
本文提出无冗余 k 折交叉验证方法,使每个实例仅训练和测试各一次,在保持分层和模型无关性的同时,获得与 k 折交叉验证相当的估计性能、更少乐观的方差并显著降低计算成本。
2025-08-27 cs.AI cs.LG stat.ME
$hv$-Block Cross Validation is not a BIBD: a Note on the Paper by Jeff Racine (2000)
本文纠正了Racine(2000)在“consistent cross-validative model-selection for dependent data:$hv$ -block cross-validation”一文中的一个错误。在他的论文中,他暗示其中提出的$hv$ -块交叉验证在Shao(1993)的意义上是一致的。为了得到这种直觉,他依赖于推测,即$hv$ -区组是平衡不完全区组设计(BIBD)。本说明表明情况并非如此,因此$hv$ -块的理论一致性仍然是一个悬而未决的问题。此外,我还提供了一个Python程序,用于计算每个样本和每对样本的出现次数。
2019-10-20 cs.LG math.ST q-bio.QM
Cross-regularization: Adaptive Model Complexity through Validation Gradients
NightCity Labs(夜城实验室)
本文提出交叉正则化方法,利用验证梯度在训练中自适应调整正则化参数,平衡复杂度与过拟合,并证明其收敛到交叉验证最优,同时支持数据增强和不确定性校准。
2025-06-24 cs.AI cs.LG math.ST
Cross-validation in high-dimensional spaces: a lifeline for least-squares models and multi-class LDA
Cardiff University(卡迪夫大学)
最小二乘模型,如线性回归和线性判别分析(LDA)是最流行的统计学习技术之一。然而,由于它们的计算时间随着特征数量的增加而立方地增加,因此它们在高维神经成像数据集中效率低下。幸运的是,对于k折交叉验证,已经开发了一种分析方法,可以在最小二乘模型中产生精确的交叉验证预测,而无需显式训练模型。它的计算时间随着测试样本的数量而增长。在这里,我们在交叉验证和排列测试的背景下系统地研究了这种方法。LDA是用于示范,但所有其他最小二乘方法的结果。此外,一个非平凡的扩展,多类LDA正式推导。使用复杂性计算,模拟和置换测试的EEG/MEG数据集的分析方法进行评估。根据特征和样本之间的比例,分析方法比标准方法(在每个训练集上重新训练模型)快10,000倍。这允许在高维数据中对最小二乘模型和多类LDA进行快速交叉验证,在多维数据集,代表性相似性分析和排列测试中具有明显的应用。
2018-03-27 cs.LG stat.ML
Robustness investigation of cross-validation based quality measures for model assessment
Ansys Germany GmbH(安sys德国有限公司);Bauhaus-Universität Weimar(魏玛包豪斯大学);Ansys Austria GmbH(安sys奥地利有限公司)
本文研究基于交叉验证的机器学习模型评估质量度量的准确性与鲁棒性,通过数值算例验证其可靠性,并估计置信界及推导局部质量度量。
2024-10-04 cs.LG stat.ML
Approximate cross-validation formula for Bayesian linear regression
Tokyo Institute of Technology(东京工业大学);Hiroshima University(广岛大学)
交叉验证(CV)是一种基于给定数据集评估统计模型/学习系统能力的技术。尽管其广泛的适用性,相当沉重的计算成本可以阻止其使用的系统规模的增长。为了解决贝叶斯线性回归的情况下,这个困难,我们开发了一个公式,用于估计留一法CV误差近似没有实际执行CV。开发的公式的有用性进行了测试的统计力学分析的合成模型。这一点也通过应用于真实世界的超新星数据集得到了证实。
2016-10-25 cs.LG stat.ML
Cross-validation Confidence Intervals for Test Error
Princeton University(普林斯顿大学);Harvard University(哈佛大学);Microsoft Research New England(微软研究院新英格兰分院)
本文在弱稳定性条件下,建立了交叉验证的中心极限定理和渐近方差的相合估计量.总之,这些结果为$k$倍检验误差提供了实际的、渐近精确的置信区间,并为一种学习算法是否具有比另一种更小的$k$倍检验误差提供了有效的、强大的假设检验。这些结果也是流行的留一交叉验证方法的第一个结果。在我们使用不同学习算法的真实数据实验中,所得到的区间和测试优于文献中最流行的替代方法。
2020-10-31 cs.LG math.ST stat.ML
Bayesian leave-one-out cross-validation for large data
Aalto University(阿尔托大学);Technical University of Denmark(丹麦技术大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
模型推理,如模型比较、模型检查和模型选择,是模型开发的重要组成部分。留一交叉验证(LOO)是评估模型泛化能力的一种通用方法,但不幸的是,LOO不能很好地扩展到大型数据集。我们提出了一种使用近似推理技术和概率比例大小采样(PPS)的组合,用于大型数据集的快速LOO模型评估。我们提供了理论和经验的结果,显示出良好的性能,大数据。
2019-04-24 cs.LG stat.ML
Estimation of Large Financial Covariances: A Cross-Validation Approach
Oxford-Man Institute of Quantitative Finance(牛津-曼氏量化金融研究所);Department of Engineering Science(工程科学系)
我们引入了一种新的协方差估计的投资组合选择,适应金融时间序列的非平稳或持续异方差环境,采用指数加权平均和非线性收缩样本特征值,通过交叉验证。我们的估计是结构不可知的,透明的,在大尺寸的计算上是可行的。通过校正样本特征值的偏差,并将我们的估计量与最近的风险相匹配,我们证明了我们的估计量在大维度上对现有的最先进的静态和动态协方差收缩估计量表现良好,通过模拟和主动投资组合管理中的实证应用。
2023-01-20 cs.LG q-fin.RM stat.ML
$\left( β, \varpi \right)$-stability for cross-validation and the choice of the number of folds
University of Sydney(悉尼大学)
本文提出了交叉验证稳定性的新概念--$\left( β, \varpi \right)$ -稳定性,并以此作为交叉验证一般理论的新视角。$\left( β, \varpi \right)$ -稳定性通过拉德马赫复杂度在数学上将交叉验证模型的泛化能力和稳定性联系起来。我们的结果从数学上揭示了交叉验证的效果:一方面,交叉验证通过验证测试集上的所有替代方案来选择具有最佳经验推广能力的模型;另一方面,交叉验证可能会导致亚抽样误差,从而损害模型选择的稳定性。此外,q \textsuperscript{th}轮中的训练误差和测试误差之间的差异,有时被称为泛化误差,可能在q上自相关。在上述思想的指导下,$\left( β, \varpi \right)$ -稳定性帮助我们推导出一类新的Rademacher界,称为单轮/卷积Rademacher界,用于在i.i.d.\非i.i.d.例对于轻尾和重尾损失,新的界限量化的交叉验证模型的一轮/平均测试误差的稳定性,在其一轮/平均训练误差,样本量$n$,折叠$K$的数量,尾部属性的损失(编码为Orlicz- $Ψ_ν$规范)和拉德马赫复杂度的模型类$Λ$。新的一类边界不仅定量地揭示了交叉验证模型的泛化能力的稳定性,它还显示了经验的最佳选择的折叠次数$K$,在一轮/平均测试误差的上限是最低的,或者,换句话说,在那里的测试误差是最稳定的。
2017-07-06 cs.LG math.ST stat.ML
The Relative Instability of Model Comparison with Cross-validation
Department of Statistics, Harvard University, Cambridge, MA, USA(哈佛大学统计系);Microsoft Research New England, Cambridge, MA, USA(微软研究院新英格兰分部)
研究指出即使个体稳定的模型在比较时也可能产生相对不稳定的结果,挑战了交叉验证推断的有效性,特别指出Lasso和软阈值化在最有利的学习条件下仍会导致无效的交叉验证推断。
2026-06-04 cs.LG stat.ML
Learning dynamical systems from data: a simple cross-validation perspective
Imperial College London(伦敦帝国理工学院);Caltech(加州理工学院)
从有限数量的观测状态回归动力系统的向量场是学习这种系统的代理模型的自然方式。我们提出了交叉验证的变种(内核流\cite{Owhadi19}及其变种的基础上最大均值离散和李雅普诺夫指数)作为简单的方法来学习这些仿真器中使用的内核。
2020-07-09 cs.LG math.DS nlin.CD
Futility Analysis in the Cross-Validation of Machine Learning Models
Pfizer Global R&D(辉瑞全球研发)
许多机器学习模型具有重要的结构调整参数,这些参数不能从数据中直接估计。设置这些参数的常用策略是使用rescue方法,如交叉验证或自举法,来评估一组候选值,并根据一些预定义的标准选择最佳值。不幸的是,这个过程可能很耗时。然而,可以通过自适应地重新选择候选值来简化模型调整过程,从而可以丢弃明显次优的设置。在这种情况下,无用分析的概念被引入。一个例子,说明了如何自适应恢复可以用来减少训练时间。模拟研究被用来了解如何潜在的速度-
2014-05-27 cs.LG stat.ML
Cross-validation of matching correlation analysis by resampling matching weights
Osaka University(大阪大学)
一对数据向量之间的关联强度用非负实数表示,称为匹配权重。对于降维,我们考虑数据向量的线性变换,并将匹配误差定义为变换向量之间相对于匹配权重的平方距离的加权和。给定数据向量和匹配权重,通过Yan等人(2007)的谱图嵌入来求解最小化匹配误差的最优线性变换。这种方法是典型相关分析的推广,称为匹配相关分析(MCA)。在本文中,我们考虑了一种新的抽样方案,观察到的匹配权重随机抽样从潜在的真实匹配权重以小概率,而数据向量被视为常数。然后,我们调查的交叉验证通过重新匹配的权重。我们的渐近理论表明,交叉验证,如果重新调整适当,计算无偏估计的匹配误差相对于真正的匹配权重。现有的交叉验证的思想,而不是重新排序匹配的权重,重新排序数据向量,在这里是不适用的。MCA可以通过对数据向量进行编码的极其简单的思想来用于来自多个域的具有不同维度的数据向量。这种方法将被称为跨域匹配相关分析(CDMCA),和一个有趣的连接到经典的联想记忆模型的神经网络进行了讨论。
2015-12-14 cs.LG stat.ML
Rademacher upper bounds for cross-validation errors with an application to the lasso
University of Sydney(悉尼大学)
我们建立了一个通用的上界$K$折交叉验证($K$ -CV)的错误,可以适应许多$K$ -CV为基础的估计和学习算法。基于模型的拉德马赫复杂度和误差过程的Orlicz- $Ψ_ν$范数,CV误差上界适用于轻尾和重尾误差分布。我们还扩展了CV误差上限$β$ -混合数据使用的技术,独立分块。我们提供了一个Python软件包(\texttt{CVbound},\url{https://github.com/isaac2math}),用于计算$K$ -基于CV的算法中的CV误差上限。使用套索作为一个例子,我们在模拟中证明,上界是严格的,稳定的不同的参数设置和随机种子。除了精确限制套索的CV误差外,新上限的最小值还可用作变量选择的标准。与CV-误差最小化相比,仿真结果表明,根据上界的最小化来调整套索惩罚参数会产生一个更稀疏、更稳定的模型,该模型保留了所有相关变量。
2020-07-30 cs.LG stat.ML
A Honest Cross-Validation Estimator for Prediction Performance
Department of Biomedical Data Science(生物医学数据科学系);Stanford University(斯坦福大学);Indiana Academy for Science, Mathematics, and Humanities(印第安纳州科学、数学和人文学院);Eisai Inc.(卫材公司)
本文提出一种诚实的交叉验证估计器,在随机效应模型框架下利用其他分割的交叉验证估计改进朴素单分割估计,开发层次贝叶斯和经验贝叶斯两种估计器,性能优于常规方法。
2025-10-09 cs.LG stat.AP stat.ME
CoAst: Validation-Free Contribution Assessment for Federated Learning based on Cross-Round Valuation
Nanjing University(南京大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出免验证联邦学习贡献评估方法 CoAst,通过权重量化和跨轮参数相似性估值,在不依赖验证数据的情况下实现与基于验证方法相当、优于现有免验证方法的评估可靠性。
2024-09-04 cs.AI cs.LG
Weighted Leave-One-Out Cross Validation
提出加权留一交叉验证,通过高斯过程假设构建最佳线性估计器,更精确地估计积分平方误差,并验证了对核选择的鲁棒性及模型选择应用。
2025-05-26 cs.LG stat.ME stat.ML
Subsampling Bias and The Best-Discrepancy Systematic Cross Validation
Shandong University(山东大学);Loughborough University(拉夫堡大学);University of Cambridge(剑桥大学)
统计机器学习模型在投入使用之前应该进行评估和验证。传统的k重蒙特卡罗交叉验证(MCCV)方法使用伪随机序列将样本划分为k个子集,这通常会导致子采样偏差,增加泛化误差,并危及交叉验证的可靠性和有效性。基于统计学中的有序系统抽样理论和数论中的低偏差序列理论,提出了一种新的k重交叉验证方法,该方法通过用最佳偏差序列代替伪随机序列,保证了较低的二次抽样偏差,从而得到更精确的期望预测误差估计.在156个基准数据集和三种分类器(逻辑斯谛回归、决策树和朴素贝叶斯)上的实验表明,总体上,我们的交叉验证方法可以通过降低约7.18%的EPE和约26.73%的方差来消除MCCV中的子采样偏差。相比之下,分层MCCV可以使MCCV的EPE和方差分别降低约1.58%和11.85%。Leave-One-Out(LOO)可以降低EPE约2.50%,但其方差远高于任何其他CV程序。我们的交叉验证过程的计算时间仅为MCCV的8.64%,分层MCCV的8.67%和LOO的16.72%。实验还表明,我们的方法是更有益的数据集的特点是相对较小的尺寸和大的纵横比。这使得我们的方法在解决生物科学分类问题时特别相关。我们提出的系统子采样技术可以推广到其他涉及随机子采样机制的机器学习算法。
2019-07-04 cs.LG stat.CO stat.ME
Determination of hysteresis in finite-state random walks using Bayesian cross validation
考虑使用高阶马尔可夫链对有限状态随机游动的滞后建模问题。这封信介绍了一个贝叶斯框架,以确定,从数据中,在最近的历史上,一个轨迹是统计依赖的先前状态的数量。一般的建议是使用留一交叉验证,使用以封闭形式提供的易于计算的公式。重要的是,当存在大量数据时,使用平面模型先验的贝叶斯因子偏向于过于复杂的模型(更多滞后),而赤池信息准则(AIC)偏向于过于稀疏的模型(较少滞后)。
2018-07-20 cs.LG physics.data-an q-bio.QM
Mass-Univariate Hypothesis Testing on MEEG Data using Cross-Validation
统计理论的最新进展,以及计算机计算能力的进步,提供了替代方法来进行大规模单变量假设检验,其中大量的单变量检验,可以适当地用于比较MEEG数据在大量的时间-频率点和头皮位置。这种质量单变量分析的主要问题之一是由于大量的假设检验。因此,消除或减轻错误发现的可能性增加的程序对于这种类型的分析至关重要。在这里,我提出了一种新的方法,质量单变量分析的MEEG数据的交叉验证计划的基础上。在这种方法中,我建议一个分层的分类程序下的k折交叉验证,以检测哪些传感器在哪个时间仓和频率仓有助于区分两个不同的刺激或任务。为了实现这一目标,一种新的特征提取方法的基础上,离散余弦变换(DCT)采用,以获得所有三个数据维的最大优势。采用交叉验证和层次结构的DCT特征空间,使该方法更可靠,同时足够敏感,以检测大脑活动中的窄效应。
2014-06-25 cs.LG math.ST stat.ML
Distributional bias compromises leave-one-out cross-validation
Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心);Columbia University(哥伦比亚大学)
本研究揭示留一交叉验证存在分布偏倚问题,该偏倚会影响模型性能评估与超参数优化,且可推广至留P交叉验证,为此提出可泛化的再平衡交叉验证方法,经多场景验证可有效提升评估准确性。
2025-03-24 cs.LG q-bio.QM stat.ME
Bi-cross validation for estimating spectral clustering hyper parameters
SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
阻碍来自直线加速器相干光源LCLS的TB级X射线散射数据的分析的一个挑战是确定执行传统聚类算法所需的簇的数量。在这里,我们证明了以前的工作,使用双向交叉验证(BCV),以确定奇异向量的数量直接映射到谱聚类问题估计的集群和超参数值的数量。这些结果表明,估计聚类数的过程不应该脱离估计其他超参数的过程。将此方法应用于LCLS X射线散射数据,可以识别掉落的子弹,而无需手动设置探测器注量的边界,并提供了一条识别罕见和异常事件的途径。
2019-09-17 cs.LG physics.acc-ph stat.ML
ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data
Harvard University(哈佛大学)
针对高维正则化回归中交叉验证不一致的问题,提出ROTI-GCV框架,利用右旋转不变分布处理样本依赖和重尾协变量,并给出信噪比与噪声方差的新估计器,实验验证其准确性。
2025-10-22 cs.LG math.ST stat.ML