Beyond Benign Overfitting in Nadaraya-Watson Interpolators
Weizmann Institute of Science(魏茨曼科学研究所)
该研究从现代泛化视角重新审视经典Nadaraya-Watson插值估计器,证明调整类带宽超参数可产生非单调的多种过拟合行为,且高估数据固有维度危害低于低估,数值实验验证了理论结果。
2025-10-21 cs.LG math.ST stat.ML
Stability and Generalization of Bilevel Programming in Hyperparameter Optimization
Shandong University(山东大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学);Huawei(华为)
(基于梯度的)双层规划框架被广泛用于超参数优化,并取得了优异的性能经验。以往的理论工作主要集中在它的优化性能,而离开的分析,在很大程度上开放的推广。本文试图解决这个问题,提出了一个期望约束w.r.t.基于一致稳定性的验证集。我们的结果可以解释一些神秘的行为的双层规划在实践中,例如,过拟合的验证集。我们还提出了一个期望界的经典交叉验证算法。我们的研究结果表明,基于梯度的算法可以比交叉验证在一定条件下,在理论上的角度。此外,我们证明了在外部和内部水平的正则化项可以缓解基于梯度的算法中的过拟合问题。在对噪声标签的特征学习和数据重新加权的实验中,我们证实了我们的理论发现。
2021-10-23 cs.LG math.OC
LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校管理科学系);Department of Civil Engineering, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校土木工程系);Operations and Decision Sciences, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校运营与决策科学系);Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心)
提出基于线性规划的局部搜索框架,通过双层优化联合更新模型参数和正则化超参数,利用验证梯度和Hessian信息构造局部下降方向,在保持训练最优性的同时减少过拟合,实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
Occam's Razor is Only as Sharp as Your ELBO
Tufts University(塔夫茨大学)
本文探讨了在高参数化回归模型中,基于ELBO的超参数学习可能产生过拟合,且证据本身在某些情况下偏好过拟合模型,而ELBO不具此特性。
2026-10-12 cs.LG stat.ML
Overfitting Mechanism and Avoidance in Deep Neural Networks
Florida State University(佛罗里达州立大学)
在数据可用性和高性能计算的帮助下,深度学习技术在困难任务(包括对象识别、语音识别和自然语言处理)方面取得了突破,并在经验上超过了人类的表现。由于它们被用于关键应用程序中,因此必须了解其成功和局限性的基本机制。在本文中,我们表明,过拟合,在深神经网络的基本问题之一,是由于连续梯度更新和交叉熵损失的规模敏感性。通过将样本分为正确和错误分类的样本,我们发现它们的行为非常不同,其中正确的样本损失减少,而不正确的样本损失增加。此外,通过分析训练过程中的动态,我们提出了一种基于共识的分类算法,使我们能够避免过度拟合,并显着提高分类精度,特别是当训练样本的数量是有限的。由于每个训练的神经网络依赖于外部因素,如初始值以及训练数据,需要多个模型之间的共识大大减少了外部因素;对于统计独立的模型,减少是指数。与集成算法相比,该算法通过不对模糊输入进行分类来避免过度泛化。系统实验结果验证了该算法的有效性。例如,仅使用来自MNIST数据集的1000个训练样本,所提出的算法实现了95%的准确率,显著高于任何单个模型,其中90%的测试样本被分类。
2019-01-19 cs.LG cs.NE stat.ML
User Modelling for Avoiding Overfitting in Interactive Knowledge Elicitation for Prediction
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
在人在回路机器学习中,用户提供的信息超出了训练数据中的信息。许多算法和用户界面已被设计用于优化和促进这种人机交互;然而,很少有研究解决了设计可能导致的潜在缺陷。有效的交互通常需要向用户展示训练数据或其统计信息。然后,系统的设计是至关重要的,因为如果用户强化数据中的噪声模式,这可能导致数据的双重使用和过度拟合。我们提出了一个用户建模的方法,通过假设简单的理性行为,以纠正这个问题。我们表明,在一个用户的研究与48名参与者,该方法提高了预测性能的稀疏线性回归情感分析任务,其中分级的用户知识的特征相关性。我们相信,使用概率用户模型推断用户知识的关键思想在防止过拟合和改进交互式机器学习方面具有普遍适用性。
2018-03-09 cs.HC cs.LG stat.ML
Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
Emory University(埃默里大学)
我们证明了混合正则化方法自动避免随机特征模型(RFM)训练中出现的双下降现象的能力。双下降现象的标志性特征是在插值阈值处正则化间隙中的尖峰,即当RFM中的特征的数量等于训练样本的数量时。为了弥补这一差距,本文考虑的混合方法结合了两种最常见的正则化形式:早期停止和权重衰减。该方案不需要超参数调整,因为它自动选择停止迭代和权重衰减超参数,通过使用广义交叉验证(GCV)。这也避免了专用验证集的必要性。虽然混合方法的好处已经很好地证明了不适定逆问题,但我们的工作提出了机器学习的第一个用例。为了揭示正则化的必要性和激励混合方法,我们进行了详细的数值实验启发图像分类。在这些例子中,混合方案成功地避免了双下降现象,并产生RFM,其推广与经典的正则化方法,其超参数最佳地使用测试数据调整。我们提供了我们的MATLAB代码实现本文中的数值实验在https://github.com/EmoryMLIP/HybridRFM。
2020-12-11 cs.LG stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence(IDSIA 达莱·莫勒人工智能研究所);USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题,提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法,并引入防过拟合策略,数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Recommending Learning Algorithms and Their Associated Hyperparameters
Brigham Young University(杨百翰大学)
机器学习在给定任务上的成功取决于选择哪种学习算法及其相关的超参数等。为给定的数据集选择合适的学习算法并设置其超参数可能是一项具有挑战性的任务,特别是对于不是机器学习专家的用户。以前的工作已经研究了使用元特征来预测应该使用哪种学习算法和超参数。然而,选择一组预测算法性能的元特征是困难的。在这里,我们建议将协同过滤技术应用于学习算法和超参数选择,并发现这样做可以避免确定使用哪些元特征,并且在许多情况下优于传统的元学习方法。
2014-07-07 cs.LG stat.ML
Avoid Overfitting User Specific Information in Federated Keyword Spotting
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
关键词定位(KWS)旨在为不同用户准确有效地从其他信号中区分特定的唤醒词。最近的工作利用各种深度网络来训练KWS模型,其中所有用户的语音数据集中而不考虑数据隐私。Federated KWS(FedKWS)可以作为一种解决方案,而无需直接共享用户数据。然而,少量的数据、不同的用户习惯和各种口音可能导致致命的问题,例如,过拟合或权重发散。因此,我们提出了几种策略,以鼓励模型不过度拟合FedKWS中的用户特定信息。具体来说,我们首先提出了一种对抗性学习策略,该策略针对过拟合的局部模型更新下载的全局模型,并明确鼓励全局模型捕获用户不变的信息。此外,我们提出了一个自适应的本地训练策略,让更多的训练数据和更均匀的类分布的客户端进行更多的本地更新步骤。同样,这种策略可以削弱那些数据不太合格的用户的负面影响。我们提出的FedKWS-UI可以显式和隐式地学习FedKWS中的用户不变信息。在联邦Google语音命令上的大量实验结果验证了FedKWS-UI的有效性。
2022-06-17 cs.LG cs.MM cs.SD
Generalization in Transfer Learning
Bogazici University(博加齐大学)
针对深度迁移强化学习易在源任务过拟合、泛化评估不准的问题,提出训练迭代调参、策略快照、strict clipping、最大熵对抗学习与课程学习等正则化方法,并在多种物理参数变化的机器人环境中验证鲁棒性。
2021-02-22 cs.AI cs.LG cs.RO
Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges
Ludwig-Maximilians-Universität München(慕尼黑大学);TU Dortmund University(多特蒙德工业大学)
大多数机器学习算法都是由一个或多个超参数配置的,这些超参数必须仔细选择,并且通常会显著影响性能。为了避免耗时且不可再现的手动试错过程以找到性能良好的超参数配置,各种自动超参数优化(HPO)方法,例如,可以采用基于用于监督机器学习的复位误差估计。本文在介绍了HPO的基本概念后,重点介绍了随机搜索、进化算法、贝叶斯优化、Hyperband和赛车等HPO方法。它提供了关于进行HPO时要做出的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道结合起来,运行时改进和并行化。本文附有一个附录,其中包含有关R和Python中特定软件包的信息,以及特定学习算法的信息和推荐的超参数搜索空间。我们还提供了笔记本,展示了这项工作的概念作为补充文件。
2021-11-24 cs.LG stat.ML
Hyperparameters in Reinforcement Learning and How To Tune Them
Leibniz University Hannover(汉诺威莱布尼茨大学);Meta AI
本文针对强化学习超参数调优不一致导致公平比较困难的问题,评估多种 HPO 工具并提出分离调优/测试种子等最佳实践,证明其可提升性能、降低计算成本并改善可复现性。
2023-06-02 cs.LG
Overfitting in quantum machine learning and entangling dropout
Keio University(庆应义塾大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
机器学习的最终目标是基于给定的训练数据集,构造一个对未知数据集具有泛化能力的模型函数。如果模型函数具有太多的表达能力,那么它可能过拟合训练数据,从而失去泛化能力。为了避免这种过拟合问题,在经典的机器学习机制中已经开发了几种技术,而dropout就是这样一种有效的方法。本文提出了一个简单的模拟这种技术在量子机器学习制度,纠缠辍学,这意味着在一个给定的参数化量子线路中的一些纠缠门被随机删除在训练过程中,以减少电路的可表达性。一些简单的案例研究表明,这种技术实际上抑制过拟合。
2023-01-22 cs.LG quant-ph
On the Brittleness of Maximum Likelihood Estimation for Gaussian Process Hyperparameter Optimization
University of California, Irvine(加州大学欧文分校)
本文针对高斯过程超参数优化场景,评估最大似然估计的脆弱性,提出实用解决方案,其在贝叶斯优化等任务中有效,构建的高斯过程可在多方面超越表格基础模型。
2026-08-17 cs.LG stat.ME stat.ML
Offline Policy Optimization with Eligible Actions
ByteDance(字节跳动);Stanford University(斯坦福大学)
离线策略优化可能对许多现实世界的决策问题产生很大影响,因为在线学习在许多应用中可能是不可行的。重要性采样及其变体是离线策略评估中常用的估计器类型,并且这种估计器通常不需要对价值函数或决策过程模型函数类的属性和表示能力进行假设。在本文中,我们确定了一个重要的过拟合现象,在优化的重要性加权回报,它可能是可能的学习政策,基本上避免对齐的决策的初始状态空间的一部分。我们提出了一种算法,以避免这种过拟合通过一个新的每状态邻域归一化约束,并提供了一个理论上的理由所提出的算法。我们还显示了这种方法以前的尝试的局限性。我们在一个受医疗保健启发的模拟器中测试我们的算法,该模拟器是从真实医院和连续控制任务中收集的记录数据集。这些实验表明,所提出的方法产生更少的过拟合和更好的测试性能相比,国家的最先进的批处理强化学习算法。
2022-07-01 cs.LG
Importance of Kernel Bandwidth in Quantum Machine Learning
JPMorgan Chase(摩根大通);Argonne National Laboratory(阿贡国家实验室)
量子核方法被认为是将量子计算机应用于机器学习问题的一个有前途的途径。鉴于超参数在决定经典机器学习方法的性能方面发挥的核心作用,识别控制量子机器学习模型的归纳偏差的超参数预计至关重要。在这项工作中,我们介绍了超参数控制的量子内核的带宽,并表明它控制的表达所产生的模型。我们使用多个量子内核和经典数据集进行了广泛的数值实验,以显示模型行为从欠拟合(带宽太大)到过拟合(带宽太小)的一致变化,以及介于两者之间的最佳泛化。我们绘制了经典和量子内核的带宽之间的连接,并在这两种情况下显示类似的行为。此外,我们表明,优化带宽可以帮助减轻核值随量子比特计数的指数衰减,这是最近观察到量子核方法的性能随量子比特计数下降的原因。我们重现了这些负面结果,并表明如果内核带宽得到优化,性能反而会随着量子比特数的增加而提高,并与最好的经典方法竞争。
2022-09-28 cs.LG quant-ph
Succinct Explanations With Cascading Decision Trees
Yale University(耶鲁大学);Barnard College(巴纳德学院)
决策树是20世纪80年代以来最流行和最经典的机器学习模型之一。然而,在许多实际应用中,决策树往往会生成深度过大的决策路径。长的决策路径通常会导致过拟合问题,并使模型难以解释。由于决策路径较长,当数据包含缺失值时,推理也更有可能失败。在这项工作中,我们提出了一个新的树模型称为级联决策树,以减轻这个问题。级联决策树的核心思想是将决策路径和解释路径分开,实验结果表明,级联决策树生成的解释路径平均缩短了63.38%,避免了过拟合,从而获得了更高的测试精度。我们还实证表明,级联决策树的优势,对缺失值的鲁棒性。
2022-11-29 cs.AI cs.LG
Review of AlexNet for Medical Image Classification
Henan Polytechnic University(河南理工大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Southeast University(东南大学)
本文综述了AlexNet在医学图像分类中的应用,重点介绍其dropout和ReLU技术以缓解过拟合和梯度消失,并总结了其技术细节、优势及应用领域。
2023-12-22 cs.CV cs.LG
Information bottleneck theory of high-dimensional regression: relevancy, efficiency and optimality
Initiative for the Theoretical Sciences, The Graduate Center, CUNY(纽约市立大学研究生中心理论科学倡议)
避免过拟合是机器学习的核心挑战,但许多大型神经网络很容易实现零训练损失。这个令人困惑的矛盾需要新的方法来研究过拟合。在这里,我们通过残差信息来量化过拟合,残差信息被定义为拟合模型中对训练数据中的噪声进行编码的位。信息有效的学习算法最小化残留信息,同时最大化相关位,这是未知的生成模型的预测。我们解决这个优化,以获得线性回归问题的最优算法的信息内容,并将其与随机岭回归进行比较。我们的研究结果表明,残差和相关信息之间的基本权衡和随机回归相对于最优算法的相对信息效率的特点。最后,使用随机矩阵理论的结果,我们揭示了学习高维线性映射的信息复杂性,并揭示了双重和多重下降现象的信息理论类似物。
2022-10-12 cond-mat.stat-mech cs.IT cs.LG
Hyperparameter optimization with REINFORCE and Transformers
Walmart Global Tech India(沃尔玛全球技术印度)
强化学习已经为神经结构搜索(NAS)带来了有希望的结果。在本文中,我们演示了如何通过使用简化的Transformer块来建模策略网络来提高其性能。简化的Transformer使用基于注意力的2流机制来建模超参数依赖关系,同时避免层归一化和位置编码。我们认为这种简约的设计平衡了模型的复杂性和表现力,使其适合在有限的探索预算下在高维搜索空间中发现最佳架构。我们演示了如何通过以下方式进一步提高算法的性能:a)使用演员-评论家风格的算法,而不是普通的香草策略梯度; b)将具有共享参数的Transformer块集成在一起,每个块以不同的自回归因子分解顺序为条件。我们的算法作为NAS和通用超参数优化(HPO)算法都工作得很好:它在NAS-Bench-101上的性能优于大多数算法,NAS-Bench-101是一个用于基准NAS算法的公共数据集。特别是,它优于基于RL的方法,使用替代架构来建模策略网络,强调了在这种设置中使用基于注意力的网络的价值。作为一种通用的HPO算法,它在发现跨2个回归任务的更准确的多层感知器模型架构方面优于随机搜索。在设计实验和报告结果时,我们遵守Lindauer和Hutter中列出的指导方针。
2020-11-05 cs.LG cs.NE stat.ML
GK-SMOTE: A Hyperparameter-free Noise-Resilient Gaussian KDE-Based Oversampling Approach
College of Computer Science, Chongqing University, Chongqing 400044, China(重庆大学计算机学院);Department of Computer Science, Michigan Technological University, Houghton, MI 49931, Michigan, United States(密歇根技术大学计算机系)
本文提出GK-SMOTE,一种基于高斯核密度估计的超参数无关且抗噪的SMOTE扩展方法,通过在高密度少数类区域生成合成样本并避开噪声区域,有效提升了不平衡分类任务的性能。
2025-09-14 cs.LG