On $f$-Divergence Principled Domain Adaptation: An Improved Framework
Tongji University(同济大学);University of Ottawa(渥太华大学)
本文针对无监督领域自适应提出 $f$-领域差异 $f$-DD,改进 $f$-散度理论界并推导快速率泛化 bound,实验验证其优于既有方法。
2024-10-27 cs.CV cs.LG stat.ML
Efficient Domain Generalization via Common-Specific Low-Rank Decomposition
MSR India(微软研究院印度);IIT Bombay(印度理工学院孟买分校)
领域泛化是指训练模型的任务,该模型泛化到在训练期间未看到的新领域。我们提出了CSD(公共特定分解),对于这种设置,它联合学习一个公共组件(推广到新的领域)和一个特定于领域的组件(过度拟合训练域)。在训练之后丢弃域特定分量,并且仅保留公共分量。该算法是非常简单的,只涉及修改任何给定的神经网络架构的最终线性分类层。我们提出了一个原则性的分析,了解现有的方法,提供可识别的结果CSD,并研究低秩的领域泛化的影响。我们表明,CSD匹配或击败最先进的方法,领域泛化的基础上域擦除,域扰动数据增强,和元学习。进一步诊断旋转MNIST,域是可解释的,证实了这一假设,CSD成功地解开共同和域特定的组件,从而导致更好的领域泛化。
2020-04-07 cs.LG stat.ML
A Statistical Model for Predicting Generalization in Few-Shot Classification
IMT Atlantique(大西洋国立高等工业技术与矿业学校);CNRS(法国国家科学研究中心);Sony Europe(索尼欧洲公司);Mila(米拉研究所)
分类器的泛化误差的估计往往依赖于验证集。这样的集合在少样本学习场景中几乎不可用,这是该领域中被高度忽视的缺点。在这些场景中,通常依赖于从预训练的神经网络中提取的特征,并结合基于距离的分类器,如最近类均值。在这项工作中,我们引入了一个高斯模型的特征分布。通过对模型参数的估计,我们能够在小样本的情况下预测新分类任务的泛化误差。我们观察到,类条件密度之间的准确距离估计是准确估计泛化性能的关键。因此,我们提出了一个无偏估计这些距离,并将其集成在我们的数值分析。我们的经验表明,我们的方法优于替代品,如留一交叉验证策略。
2023-03-28 cs.AI cs.CV cs.LG
Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis
Université Laval(拉瓦尔大学)
我们得到一个新的信息理论分析的泛化性能的元学习算法。具体地说,我们的分析提出了一个通用的理解传统的学习到学习的框架和现代模型无关的元学习(MAML)算法。此外,我们还为MAML的随机变体提供了一个数据依赖的泛化界,这对于深度少样本学习来说是非空的。与依赖于梯度的平方范数的以前的界限相比,对模拟数据和一个著名的Few-Shot基准的经验验证表明,我们的界限在大多数情况下是数量级更紧。
2021-12-10 cs.LG stat.ML
Improving Meta-Learning Generalization with Activation-Based Early-Stopping
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔综合理工学院)
用于少样本学习的元学习算法旨在训练神经网络,该神经网络能够仅使用少量示例来推广到新任务。早期停止对性能至关重要,当模型训练达到对新任务分布的最佳泛化时,停止模型训练。元学习中的早期停止机制通常依赖于从训练(源)数据集提取的元验证集的标记示例上测量模型性能。这在Few-Shot迁移学习设置中是有问题的,其中元测试集来自不同的目标数据集(OOD),并且可能与元验证集具有较大的分布偏移。在这项工作中,我们提出了基于激活的早期停止(ABE),一种替代使用基于验证的早期停止元学习。具体来说,我们分析了在元训练期间,每个隐藏层的神经激活的演变,在目标任务分布的单个任务的一小部分未标记的支持示例上,因为这构成了目标问题的最小和可扩展的可访问信息。我们的实验表明,简单的,标签不可知的统计激活提供了一种有效的方法来估计目标泛化如何随着时间的推移而演变。在每个隐藏层,我们表征的激活分布,从他们的第一和第二阶矩,然后进一步总结沿特征尺寸,从而在一个紧凑而直观的表征在四维空间。在整个训练时间内,检测目标激活轨迹何时以及在哪一层偏离源数据的激活轨迹,使我们能够在不同算法、源数据集和目标数据集之间的大量Few-Shot迁移学习设置中执行早期停止并改进泛化。
2022-08-03 cs.AI cs.LG stat.ML
Flat Posterior Does Matter For Bayesian Model Averaging
KAIST(韩国科学技术院)
该研究针对后验平坦性对贝叶斯模型平均(BMA)泛化能力的影响被忽视的问题,提出FP-BMA训练目标及对应迁移学习方案,实验证明其能捕获平坦后验并提升泛化性能。
2025-06-17 cs.LG stat.ML
A Continual Validation, Updating, and Decision-Making Framework for Self-Adaptive Digital Twins: A Case Study in Additive Manufacturing
Northwestern University(西北大学)
研究针对数字孪生中概念漂移致模型退化问题,提出集成Fisher分数漂移检测器、LoRA及Mann-Whitney U检验的自适应框架,能监测模型置信度、触发微调并统计验证性能提升,经案例研究成功检测变化并恢复相关性能,维持数字孪生可信度。
2026-11-10 cs.AI cs.LG math.ST
Benchmarking Domain Generalization Algorithms in Computational Pathology
Tissue Image Analytics centre, Department of Computer Science(组织机构:组织机构,计算机科学系);Histofy Ltd(Histofy有限公司);ICMR-National Institute of Pathology(ICMR国家病理研究所)
本研究针对计算病理学中域偏移导致模型泛化性差的问题,通过7560次交叉验证在3个任务上基准测试30种域泛化算法,发现自监督学习和染色增强效果最优,并提出HISTOPANTUM数据集,为该领域算法选择提供指导。
2025-11-11 cs.AI cs.CV cs.LG
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学);University of Hong Kong(香港大学);Fudan University(复旦大学)
本文提出统一理论框架,通过分析加法、乘法及模运算,揭示平移不变性与相对位置编码对长度泛化的作用,并经GPT系列实验验证,强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
交叉验证是现代应用统计学和机器学习的主力,因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中,我们证明了交叉验证风险对于许多常见的机器学习算法,包括逻辑斯谛回归,弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性,我们提出了一种用于超参数优化的交叉验证梯度方法(CVGM)。我们的方法可以在高维超参数空间中有效地优化交叉验证风险,这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
What You See is What You Get: Principled Deep Learning via Distributional Generalization
EPFL(洛桑联邦理工学院);UC San Diego(加州大学圣地亚哥分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
在机器学习中,在训练时间和测试时间具有类似的行为$-$,我们称之为“所见即所得”(WYSIWYG)属性$-$。然而,使用标准随机梯度下降(SGD)训练的模型不一定具有此属性,因为它们的复杂行为(如鲁棒性或子群性能)在训练和测试时间之间可能会有很大差异。相比之下,我们证明了差分私有(DP)训练可证明确保了高级别的WYSIWYG属性,我们使用分布式泛化的概念对其进行量化。应用这种联系,我们引入了新的概念工具,通过将泛化问题减少到优化问题来设计深度学习方法:为了减轻测试时的不必要行为,可以证明在训练数据上减轻这种行为是足够的。通过应用这种新颖的设计原理,它绕过了SGD的“病态”,我们构建了简单的算法,在几个分布式鲁棒性应用中与SOTA竞争,显着提高了DP-SGD的隐私与不同影响的权衡,并减轻了对抗训练中的鲁棒过拟合。最后,我们还改进了DP,稳定性和分布推广的理论界限。
2022-10-17 cs.AI cs.CR cs.CV
Compositional Generalization in Autoregressive Models via Logit Composition
COATI, CNRS, Inria, I3S, Université Coté d’Azur, France(COATI研究所、国家科学研究中心、Inria、I3S、法国埃克塞特大学)
本文受扩散模型组合方法的启发,提出一种新的自回归系统组合策略,在因子化条件假设下实现投影组合,并证明该组合在输出空间平滑重参数化下保持长度泛化行为。
2026-05-27 cs.LG
Channel Selected Stratified Nested Cross Validation for Clinically Relevant EEG Based Parkinsons Disease Detection
本文提出一种分层嵌套交叉验证框架,通过患者层面分层、多层窗口化和内循环通道选择,解决EEG数据中的偏差和信息泄露问题,实现80.6%的准确率,为临床应用提供可靠基础。
2026-03-13 cs.LG eess.SP
Generalization and Feature Attribution in Machine Learning Models for Crop Yield and Anomaly Prediction in Germany
Leibniz Centre for Agricultural Landscape Research (ZALF)(莱布尼茨农业景观研究中心(ZALF));CDM Smith
本研究探讨了机器学习模型在德国作物产量预测中的泛化能力与特征归因问题,指出模型在时间验证中的不足及可解释性方法的局限性。
2025-12-17 cs.LG
Principled Out-of-Distribution Generalization via Simplicity
Department of Operations Research and Financial Engineering, Princeton University(运筹学与金融工程系,普林斯顿大学);Department of Electrical and Computer Engineering, Princeton University(电气与计算机工程系,普林斯顿大学)
本文研究扩散模型组合泛化能力,提出基于简单性的OOD泛化理论框架,在常数间隙和消失间隙两种设置下,为正则化最大似然估计器建立了首个精确样本复杂度保证。
2025-05-28 cs.LG math.ST stat.ML
When Participant Disjoint Validation Is Not Enough to Establish Generalization in Parkinson's Gait Classification
University of Rajshahi(拉杰沙希大学)
该研究针对帕金森病步态分类,发现参与者不相交验证因位点与诊断的结构依赖会产生乐观估计,提出需通过位点控制或独立验证确立模型泛化性。
2026-10-14 cs.LG
Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set
Barcelona Supercomputing Center(巴塞罗那超级计算中心);SEGITTUR(西班牙旅游技术与创新管理公司)
神经网络的训练通常用验证(保持)集来监视,以估计模型的泛化。这样做不是测量模型的内在属性,以确定它是否正确地学习。在这项工作中,我们建议研究与代数拓扑,特别是持久同源(PH)的神经网络的训练。利用神经网络的单纯复表示,研究了不同结构和多个数据集的神经网络学习过程中PH图距离的演化。结果表明,连续神经网络状态之间的PH图距离与验证精度相关,这意味着神经网络的泛化误差可以在没有任何保持集的情况下进行内在估计.
2021-05-31 cs.AI cs.LG math.AT
Slower Generalization, Faster Memorization: A Sweet Spot in Algorithmic Learning
Yonsei University(延世大学)
研究发现,在结构化输出任务中,小规模Transformer在中间数据集大小时达到最高验证准确率,而非最大数据集,表明泛化与记忆的优化点可能不同。
2026-11-04 cs.LG
Generalization Guarantees for Neural Architecture Search with Train-Validation Split
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
神经架构搜索(NAS)是一种流行的方法,用于自动设计高性能深度学习的优化架构。在这种方法中,通常使用双层优化,其中优化训练数据上的模型权重(内部问题)和各种超参数,例如验证数据上的架构配置(外部问题)。本文探讨了这类问题的训练验证分裂的统计方面。在实践中,内部问题往往是过度参数化的,可以很容易地实现零损失。因此,先验地,似乎不可能仅基于训练损失来区分正确的超参数,这促使更好地理解训练验证分裂的作用。为此目的,这项工作建立了以下结果。(1)我们表明,细化属性的验证损失,如风险和超梯度是那些真正的测试损失的指示。这表明,外部问题有助于选择最具普遍性的模型,并防止过度拟合与接近最小的验证样本量。这是建立连续搜索空间,这是相关的可微计划。迁移学习的扩展是根据训练和验证分布之间的不匹配而开发的。(2)我们建立了NAS问题的泛化界,重点是激活搜索问题。当使用梯度下降进行优化时,我们表明训练验证过程返回最佳(模型,架构)对,即使所有架构都可以完美拟合训练数据以实现零错误。(3)最后,我们强调NAS,多核学习和低秩矩阵学习之间的联系。后者带来了新的见解,可以通过有效的谱方法准确地学习外部问题的解决方案,以实现接近最小的风险。
2022-03-02 cs.LG stat.ML
Restoring balance: principled under/oversampling of data for optimal classification
针对机器学习中类别不平衡导致的泛化瓶颈,本研究在高维机制下推导出线性分类器泛化曲线的精确解析表达式,并基于数据统计特性预测欠/过采样策略的效果,证明混合采样策略能提升性能且在真实数据集与深层架构上有效。
2025-01-31 cond-mat.dis-nn cs.LG
Stability and Generalization of Bilevel Programming in Hyperparameter Optimization
Shandong University(山东大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学);Huawei(华为)
(基于梯度的)双层规划框架被广泛用于超参数优化,并取得了优异的性能经验。以往的理论工作主要集中在它的优化性能,而离开的分析,在很大程度上开放的推广。本文试图解决这个问题,提出了一个期望约束w.r.t.基于一致稳定性的验证集。我们的结果可以解释一些神秘的行为的双层规划在实践中,例如,过拟合的验证集。我们还提出了一个期望界的经典交叉验证算法。我们的研究结果表明,基于梯度的算法可以比交叉验证在一定条件下,在理论上的角度。此外,我们证明了在外部和内部水平的正则化项可以缓解基于梯度的算法中的过拟合问题。在对噪声标签的特征学习和数据重新加权的实验中,我们证实了我们的理论发现。
2021-10-23 cs.LG math.OC
Early Stopping without a Validation Set
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
早期停止是一种广泛使用的技术,用于防止通过基于梯度的优化训练过度表达模型时泛化性能差。为了找到一个好的点来停止优化器,一个常见的做法是将数据集分成一个训练集和一个较小的验证集,以获得泛化性能的持续估计。我们提出了一种新的早期停止标准的基础上快速计算的局部统计的计算梯度,并完全消除了需要一个举行了验证集。我们的实验表明,这是一个可行的方法,在设置最小二乘和逻辑回归,以及神经网络。
2017-06-06 cs.LG stat.ML
Gradient-Weight Alignment as a Train-Time Proxy for Generalization in Classification Tasks
Institute for Artifical Intelligence in Medicine(人工智能医学研究所);Technical University of Munich(慕尼黑技术大学)
该研究提出梯度-权重对齐(GWA)指标,通过量化逐样本梯度与模型权重的一致性追踪泛化能力,可高效计算,能预测早停、支持模型比较和识别重要样本,实现无需验证集的模型分析。
2025-10-29 cs.LG
The Theory Behind Overfitting, Cross Validation, Regularization, Bagging, and Boosting: Tutorial
University of Waterloo(滑铁卢大学)
本教程系统定义了均方误差与偏差等概念,利用SURE构建误差并解释过拟合,详细阐述了交叉验证、正则化、Bagging和Boosting的理论机制及多种模型示例。
2023-05-20 cs.LG stat.ML
Bayesian Cross Validation and WAIC for Predictive Prior Design in Regular Asymptotic Theory
Tokyo Institute of Technology(东京工业大学)
先验设计是统计学和机器学习中最重要的问题之一。交叉验证(CV)和广泛适用的信息准则(WAIC)是贝叶斯估计的预测措施,但由于它们在先验估计中的数学性质未知以及超参数的区域太宽而难以检查,因此很难将它们应用于寻找最优先验。本文推导了一个新的公式,通过该公式阐明了CV、WAIC和推广损失之间的理论关系,并可以直接找到最佳超参数,通过该公式阐明了预测先验设计的三个事实。首先,CV和WAIC具有相同的二阶渐近展开式,因此它们作为超参数的优化器是渐近等价的。其次,使CV或WAIC最小的超参数使平均推广损失渐近最小,但不使随机推广损失渐近最小。最后,利用先验之间的数学关系,使CV和WAIC优化超参数的方差更小,计算量更小。此外,我们表明,优化的超参数DIC或边际似然并不最小化一般的平均或随机泛化损失。
2015-03-27 cs.LG stat.ML
Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning
University of Tsukuba(筑波大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心)
提出GERS方法,通过双层优化利用标量验证反馈调整奖励函数,在限制轨迹访问下提升强化学习在未见环境中的泛化性能。
2026-06-16 cs.LG cs.NE
Reshuffling Resampling Splits Can Improve Generalization of Hyperparameter Optimization
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文研究超参数优化中重采样划分的重排策略,理论分析其影响并实验证明重排划分可提升模型泛化性能,尤其在留出法下效果显著。
2024-11-07 cs.LG stat.ML
Limited Gradient Descent: Learning With Noisy Labels
School of Electronic Information and Communications(电子信息与通信学院);Huazhong University of Science and Technology(华中科技大学)
标签噪声会影响分类器的泛化能力,如何从带有噪声标签的样本中有效地学习主模式是一个重要的挑战。最近的研究表明,深度神经网络倾向于优先学习简单模式,而不是记忆噪声模式。这表明了一种可能的方法来搜索学习主模式的最佳泛化,直到噪音开始被记忆。传统方法通常采用干净的验证集来找到学习的最佳停止时间,即,提前停止。然而,这种方法的泛化性能依赖于验证集的质量。此外,在实践中,有时难以获得干净的验证集。为了解决这个问题,我们提出了一种方法,可以估计最佳停止时间没有一个干净的验证集,称为有限的梯度下降。我们修改了噪声数据集中一些样本的标签,以获得错误标签并创建反向模式。通过监测噪声和反向样本的学习进度,我们可以确定学习的停止时间。在本文中,我们还从理论上提供了一些必要的条件,学习与噪声标签。在CIFAR-10和CIFAR-100数据集上的实验结果表明,我们的方法具有与依赖于干净验证集的方法相当的泛化性能。因此,在嘈杂的Clothing-1 M数据集上,我们的方法超过了依赖于干净验证集的方法。
2019-12-05 cs.LG stat.ML
Inter-database validation of a deep learning approach for automatic sleep scoring
Haaglanden Medisch Centrum(海牙兰登医学中心)
在这项工作中,我们描述了一种新的自动睡眠分期的深度学习方法,并通过在广泛的睡眠分期数据库上解决其泛化能力来进行验证。在独立的本地和外部泛化场景的上下文中评估预测能力。有效地,通过比较两个过程,可以更好地推断该方法在睡眠分期的一般参考任务上的预期性能,而不管来自特定数据库的数据。此外,我们研究了一种新的方法的基础上使用的合奏个别本地模型的适用性,并评估其对所产生的数据库间泛化性能的影响。验证结果显示,与人类专家协议的预期水平以及最先进的自动睡眠分期方法相比,
2020-09-22 cs.LG cs.PF eess.SP
Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of Southern California(南加州大学)
最先进的神经网络架构继续在规模上扩展并提供令人印象深刻的泛化结果,尽管这是以有限的可解释性为代价的。特别是,一个关键的挑战是确定何时停止训练模型,因为这对泛化有重大影响。卷积神经网络(ConvNets)包括由多个通道的聚合形成的高维特征空间,其中由于维数灾难,分析中间数据表示和模型的演化可能具有挑战性。我们提出了通道式DeepNNK(CW-DeepNNK),这是一种基于非负核回归(NNK)图的新型通道式泛化估计,我们使用它在低维通道上执行局部多面体插值。这种方法导致基于实例的可解释性的学习数据表示和通道之间的关系。受我们观察的启发,我们使用CW-DeepNNK提出了一种新的早期停止标准,该标准(i)不需要验证集,(ii)基于任务性能指标,(iii)允许在每个通道的不同点停止。我们的实验表明,我们提出的方法相比,基于验证集性能的标准标准具有优势。
2021-07-27 cs.LG stat.ML
Relating Regularization and Generalization through the Intrinsic Dimension of Activations
University of Waterloo(滑铁卢大学);Layer 6 AI(Layer 6人工智能公司)
给定一对具有相似训练集性能的模型,很自然地假设具有更简单内部表示的模型将表现出更好的泛化能力。在这项工作中,我们通过分析模型激活的内在维度(ID)为这种直觉提供了经验证据,该内在维度可以被认为是模型表示数据中变化因素的最小数量。首先,我们证明了常见的正则化技术均匀地降低了图像分类模型验证集激活的最后一层ID(LLID),并展示了这是如何强烈影响泛化性能的。我们还研究了过度的正则化如何降低模型从早期层的数据中提取特征的能力,从而导致对验证准确性的负面影响,即使LLID继续降低,训练准确性仍然接近完美。最后,我们在训练表现出grokking的模型的过程中检查LLID。我们观察到,在训练精度饱和之后,当模型“grok”和验证精度突然从随机提高到完美时,LLID会同时出现突然下降,从而提供对突然泛化动态的更多见解。
2022-11-23 cs.AI cs.LG
Principled Ultrasound Data Augmentation for Classification of Standard Planes
University of Oxford(牛津大学)
具有大学习能力的深度学习模型通常过拟合医学成像数据集。这是因为由于在医疗数据采集和标记中产生的大量时间和财务成本,训练集通常相对较小。因此,数据增强通常用于扩展训练数据的可用性并增加泛化。然而,增加战略往往是在没有正当理由的情况下临时选择的。在本文中,我们提出了一个增强策略搜索方法,以提高模型分类性能的目标。我们在增强策略搜索中包括了医学图像分析中经常使用的其他变换,并评估了它们的性能。此外,我们扩展了增强策略搜索,包括非线性混合示例数据增强策略。使用这些学习的政策,我们表明,原则性的数据增强的医学图像模型训练可以导致显着改善超声标准平面检测,平均F1分数提高了7.0%,总体上超过天真的数据增强策略,在超声胎儿标准平面分类。我们发现,学习表示的超声图像更好地聚类和定义与优化的数据增强。
2021-03-14 cs.CV cs.LG
VISTA: Validation-Informed Trajectory Adaptation via Self-Distillation
VISTA通过验证引导的自蒸馏框架,在优化轨迹上强制一致性,提升模型鲁棒性和泛化能力,同时降低存储开销。
2026-09-17 cs.AI cs.LG
Principled Algorithms for Optimizing Generalized Metrics in Binary Classification
Courant Institute of Mathematical Sciences(Courant数学科学研究所);Google Research(谷歌研究)
本文提出基于原则的算法用于优化二分类中的一般度量,通过H一致性理论和有限样本泛化界限,设计出具有理论保证的新替代损失函数和METRO算法。
2025-12-29 cs.LG stat.ML
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University(清华大学);University of Southern California(南加州大学)
挑战传统验证范式,提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差,显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Minimax Limits of k-Fold Cross-Validation via Majority
University of Haifa(海法大学);EPFL(苏黎世联邦理工学院)
本文通过分析二元分类中多数投票算法的交叉验证均方误差,揭示了k折交叉验证的极小极大极限,证明当折数k随样本数n增长时,任何经验风险最小化算法的均方误差下界为Ω(√k/n)。
2026-06-23 cs.LG math.ST stat.TH
Empirical Comparison between Cross-Validation and Mutation-Validation in Model Selection
Institute of Neuroscience and Medicine, Brain and Behaviour (INM‑7), Research Center Jülich(于利希研究中心神经科学与医学研究所(脑与行为,INM‑7));Institute of Systems Neuroscience, Medical Faculty, Heinrich Heine University Düsseldorf(海因里希·海涅杜塞尔多夫大学医学院系统神经科学研究所);Max Planck School of Cognition(马克斯·普朗克认知学院);Department of Computer Science 3 - Software Engineering, RWTH Aachen University(亚琛工业大学计算机科学3系(软件工程方向))
本研究在基准和真实数据集上经验比较了变异验证(MV)与$k$折交叉验证(CV),发现两者泛化性能实际等价,但MV能选更简单模型且计算成本更低,不过存在欠拟合和超参数选择不稳定等局限。
2024-02-15 cs.LG stat.ML
On Automatic Data Augmentation for 3D Point Cloud Classification
Institute for Infocomm Research(资讯通信研究院);A*STAR(新加坡科技研究局);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Electronic Science and Technology of China(电子科技大学)
数据增强是减少过拟合和提高学习性能的重要技术,但现有的三维点云数据数据增强工作都是基于几何学的。在这项工作中,我们提出了自动学习的数据增强策略,使用双层优化。增强器以与条件生成器类似的方式设计,并且当增强的输入用于训练模型时,通过最小化基础模型在验证集上的损失来优化。该公式提供了一种更有原则的方法来学习3D点云上的数据增强。我们评估我们的方法对标准点云分类任务和更具挑战性的设置与训练和验证/测试集之间的姿势不一致。所提出的策略在这两项任务上都取得了有竞争力的性能,我们进一步了解了增强器学习验证集分布的能力。
2021-12-18 cs.CV cs.LG
Deep Bilevel Learning
University of Bern(伯尔尼大学)
我们提出了一种新的正则化方法来训练神经网络,比标准的随机梯度下降具有更好的泛化和测试误差。我们的方法是基于交叉验证的原则,其中验证集用于限制模型过拟合。我们制定这样的原则作为一个双层优化问题。这个公式允许我们定义验证集上的成本的优化,而训练集上的另一个优化。通过在训练集中的每个小批次上引入权重并选择它们的值来控制过拟合,以便它们最小化验证集上的误差。在实践中,这些权重定义了梯度下降更新方程中的小批量学习率,这些小批量学习率有利于具有更好泛化能力的梯度。由于其简单性,该方法可以与其他正则化方法和训练方案集成。我们在几个神经网络架构和数据集上对我们提出的算法进行了广泛的评估,发现它始终提高了模型的泛化能力,特别是当标签有噪声时。
2018-09-05 cs.CV cs.LG stat.ML
Most Ligand-Based Classification Benchmarks Reward Memorization Rather than Generalization
Atomwise, Inc.(Atomwise公司)
当训练和验证数据之间存在显著冗余时,可能会发生未检测到的过拟合。我们描述了AVE,一种新的措施,训练验证冗余的配体为基础的分类问题,占之间的相似性,以及活跃的非活性分子。我们调查了七个广泛使用的虚拟筛选和分类基准,并表明AVE偏差的量与基于配体的预测方法的性能密切相关,无论预测的属性,化学指纹,相似性度量,或以前应用的无偏技术。因此,它可能是以前报道的性能,大多数配体为基础的方法可以解释为过度拟合的基准,而不是良好的前瞻性的准确性。
2018-05-09 cs.LG q-bio.QM stat.ML
Validation and generalization of pixel-wise relevance in convolutional neural networks trained for face classification
Stanford University(斯坦福大学)
在科学、治理和更广泛的社会中,越来越多地使用卷积神经网络进行人脸识别,这就迫切需要能够显示这些“黑匣子”决策是如何做出的方法。为了对人类可解释和有用,这种方法应该以一种对输入数据中的随机初始化或虚假相关性鲁棒的方式传达模型的学习分类策略。为此,我们应用分层相关传播(LRP)的分解像素属性方法来解决几类VGG-16模型的决策,这些模型是为人脸识别而训练的。然后,我们量化了这些相关性度量如何随关键模型参数而变化,并在这些参数之间进行推广,例如预训练数据集(ImageNet或VGGFace),微调任务(性别或身份分类)以及模型权重的随机初始化。使用基于相关性的图像掩蔽,我们发现用于人脸分类的相关性地图在随机初始化中通常是稳定的,并且可以在微调任务中推广。然而,在预训练数据集上的泛化能力明显较低,这表明ImageNet和VGGFace训练的模型对人脸信息的采样方式不同,即使它们实现了极高的分类性能。对模型之间的相关性图进行细粒度分析,发现了泛化中的不对称性,这些不对称性指向了选择参数的特定好处,并表明有可能找到一组重要的人脸图像像素,这些像素可以驱动卷积神经网络和任务之间的决策。最后,我们评估了模型决策权重与人类相似性度量的关系,为解释人类和机器之间的人脸识别决策提供了一个新的框架。
2020-06-16 cs.CV cs.LG stat.ML
An analysis of the cost of hyper-parameter selection via split-sample validation, with applications to penalized regression
University of Washington(华盛顿大学)
在回归设置中,给定一组超参数,模型估计过程从训练数据构建模型。使模型泛化误差最小化的最优超参数通常是未知的。在实践中,它们通常使用分裂样本验证来估计。到目前为止,有一个悬而未决的问题,关于所选择的模型的泛化误差如何随着要估计的超参数的数量而增长。为了回答这个问题,我们建立有限样本预言不等式选择基于一个单一的训练/测试分裂和交叉验证的基础上。我们表明,如果模型估计过程是顺利参数化的超参数,调整超参数所产生的误差收缩在近一个参数率。因此,对于具有固定数量的超参数的半参数和非参数模型估计过程,这种额外的误差可以忽略不计。对于参数模型估计过程,添加超参数大致相当于向模型本身添加参数。此外,我们专门这些想法的惩罚回归问题的多个惩罚参数。我们建立的拟合模型是Lipschitz的惩罚参数,因此我们的预言不等式适用。这一结果鼓励了具有许多惩罚参数的正则化方法的发展。
2019-03-28 cs.LG stat.ML
AgrI Challenge: A Data-Centric AI Competition for Cross-Team Validation in Agricultural Vision
AgrI Challenge通过多团队收集的异质数据集评估模型在不同环境下的泛化能力,提出跨团队验证方法,发现单源训练模型存在显著泛化差距,而多源协作训练能显著提升鲁棒性。
2026-03-14 cs.AI cs.CV cs.LG
Accurate Bayesian Data Classification without Hyperparameter Cross-validation
King’s College London(伦敦国王学院)
我们扩展了标准的贝叶斯多变量高斯生成数据分类器考虑的共轭,正常的Wishart先验分布的推广,并推导出的超参数分析通过证据最大化。在高维数据制度的最佳超参数的行为进行了探讨。所得到的广义模型的分类精度是有竞争力的国家的最先进的贝叶斯判别分析方法,但没有通常的交叉验证的计算负担。
2017-12-28 cs.LG math.ST stat.ME
Humanoid-inspired Causal Representation Learning for Domain Generalization
本文提出受人类视觉分层处理启发的因果框架HSCM,通过解耦并重加权颜色、纹理、形状等属性建模细粒度因果机制,从而提升跨域泛化、稳健性与可解释性。
2025-10-18 cs.AI cs.LG
Generalization in anti-causal learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心)
在新的情况下学习和行动的能力仍然是动画智能的特权,因为当前的机器学习方法在超出标准i.i.d.时大多失败。设置.出现这种差异的原因是什么?大多数机器学习任务都是反因果的,即,我们从结果(观察)中推断原因(标签)。通常,在监督学习中,我们构建的系统试图直接反转因果机制。相反,在本文中,我们认为,强大的泛化能力关键取决于搜索和验证有意义的假设,需要访问因果模型。在这样一个框架中,我们希望找到导致观察到的结果的原因。反因果模型用于驱动此搜索,但需要因果模型进行验证。我们调查因果和反因果任务之间的根本区别,讨论的主题范围从对抗攻击解开变量的因素的影响,并提供了大量的证据,从文献中证实我们的观点。我们提倡在监督学习中引入因果模型,以将范式从仅推理转变为搜索和验证。
2018-12-03 cs.LG stat.ML
Distribution-free Deviation Bounds and The Role of Domain Knowledge in Learning via Model Selection with Cross-validation Risk Estimation
Mathematical Sciences Institute and France-Australia Mathematical Sciences and Interactions ANU-CNRS International Research Lab(数学科学研究所和法澳数学科学与互动ANU-CNRS国际研究实验室);Department of Applied Mathematics, Institute of Mathematics and Statistics, Universidade de São Paulo(应用数学系、数学与统计研究所、圣保罗大学)
本文在经典统计学习理论中,构建通过交叉验证风险估计进行模型选择学习的通用无分布框架,建立基于VC维的偏差界,引入学习空间探讨候选模型结构对泛化的影响,通过案例和模拟研究展示其优势并提供模型选择指导。
2026-07-07 cs.LG stat.ML
Scalable and Generalizable Social Bot Detection through Data Selection
Indiana University(印第安纳大学);Northeastern University(东北大学)
高效可靠的社交机器人分类对于检测社交媒体上的信息操纵至关重要。尽管发展迅速,但最先进的机器人检测模型仍然面临泛化和可扩展性的挑战,这极大地限制了它们的应用。在本文中,我们提出了一个框架,使用最少的帐户元数据,使有效的分析,规模扩大到处理完整的流的公共推特在实时的。为了确保模型的准确性,我们构建了一个丰富的标记数据集集合,用于训练和验证。我们部署了一个严格的验证系统,以便除了传统的交叉验证之外,还可以优化模型在未知数据集上的性能。我们发现,战略性地选择一个子集的训练数据产生更好的模型的准确性和泛化比详尽的训练所有可用的数据。由于所提出的模型的简单性,其逻辑可以被解释为提供对社交机器人特征的见解。
2019-11-20 cs.CY cs.LG cs.SI
A Novel DNN Training Framework via Data Sampling and Multi-Task Optimization
Swinburne University of Technology(斯威本科技大学)
传统的DNN训练范例通常依赖于一个训练集和一个验证集,这是通过以某种方式划分用于训练的注释数据集(即总训练集)而获得的。训练集用于训练模型,而验证集用于在训练进行时估计训练模型的泛化性能,以避免过拟合。在这一范式中存在两个主要问题。首先,由于与测试数据的潜在不匹配,验证集可能很难保证泛化性能的无偏估计。其次,训练DNN对应于解决复杂的优化问题,这很容易陷入局部最优,从而导致不期望的训练结果。为了解决这些问题,我们提出了一种新的DNN训练框架。它通过随机分割从总训练集生成多对训练集和验证集,在每对上训练预先指定结构的DNN模型,同时使有用的知识(例如,有希望的网络参数),以经由多任务优化转移到其他模型训练过程,并且输出所有训练模型中的最佳模型,其在来自所有对的验证集上具有总体最佳性能。该框架中的知识转移机制不仅可以帮助模型训练过程摆脱局部最优,从而提高训练效率,还可以通过对一个模型训练过程施加来自其他模型训练过程的隐式正则化来提高泛化性能。我们实现了所提出的框架,并行GPU集群上的实现,并将其应用到训练几个广泛使用的DNN模型。实验结果表明,所提出的框架优于传统的训练范式。
2020-07-02 cs.CV cs.LG cs.NE
FedVG: Gradient-Guided Aggregation for Enhanced Federated Learning
West Virginia University(西弗吉尼亚大学);University of Aberdeen(阿伯丁大学);Fogsphere (Redev.AI)(Fogsphere(Redev.AI))
FedVG通过利用全局验证集指导梯度优化,提升联邦学习在异质数据环境下的泛化性能和聚合效果。
2026-02-26 cs.AI cs.CV cs.LG
When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion
Data Science and Computational Intelligence Institute(数据科学与计算智能研究所);University of Granada(格拉纳达大学);University of Cambridge(剑桥大学)
本文提出gamma-CUBV统一框架,将K折交叉验证的准确率转化为真实风险上界,分离性能、不确定性与依赖性,为异质小样本提供原则性验证标准。
2026-11-19 cs.LG physics.data-an stat.ML
Renet: Principled and Efficient Relaxation for the Elastic Net via Dynamic Objective Selection
Universitat Politècnica de Catalunya(巴塞罗那理工大学)
Renet通过动态目标选择原理化高效地放松弹性网络,提升高维数据下的预测精度和鲁棒性。
2026-02-11 cs.LG stat.ME stat.ML
Model selection for stochastic dynamics: a parsimonious and principled approach
本论文提出基于极值理论的信息准则PASTIS,用于从噪声时间序列中发现随机微分方程和随机偏微分方程,并通过鲁棒变体扩展至不完美实验数据,在模型识别与预测上优于AIC、BIC、CV和SINDy。
2025-07-05 cond-mat.stat-mech cs.LG physics.comp-ph
DoGE: Domain Reweighting with Generalization Estimation
EPFL(洛桑联邦理工学院)
DoGE通过双层优化学习领域权重,以原则性方式重加权预训练数据采样,提升基础模型在目标混合及域外任务上的泛化性能。
2024-02-05 cs.AI cs.CL cs.LG