DeepNNK: Explaining deep models and their generalization using polytope interpolation
University of Southern California（南加州大学）
基于神经网络的现代机器学习系统在学习复杂数据模式方面取得了巨大成功，同时能够对看不见的数据点进行良好的预测。然而，这些系统的有限的可解释性阻碍了进一步的进展和应用到现实世界中的几个领域。这种困境体现在耗时的模型选择和预测可解释性面临的困难，特别是在存在对抗性例子的情况下。在本文中，我们采取了一个步骤，更好地理解神经网络通过引入局部多面体插值方法。提出的深度非负核回归（NNK）插值框架是非参数的，理论上简单，几何直观。我们展示了基于实例的深度学习模型的可解释性，并开发了一种方法来识别具有良好泛化特性的模型，使用留一估计。最后，我们从机器学习的插值观点出发，对不可避免的对抗性和生成性示例进行了合理化。
2020-07-20 cs.LG stat.ML
Generalization of Gibbs and Langevin Monte Carlo Algorithms in the Interpolation Regime
ETH Zurich（苏黎世联邦理工学院）
本文在过参数化插值机制下，通过数据依赖的期望误差界，证明了低温区的泛化可由高温区的小训练误差预示，并利用朗之万蒙特卡洛算法稳定逼近，在MNIST、CIFAR-10和SVHN数据集上给出非平凡且接近真实标签测试误差的预测。
2026-05-29 cs.LG stat.ML
Near-Interpolators: Rapid Norm Growth and the Trade-Off between Interpolation and Generalization
University of Michigan（密歇根大学）；UCLA（加州大学洛杉矶分校）
该研究针对近插值线性回归器，在随机矩阵与特征衰减假设下证明其范数随样本数快速增长，精确刻画了插值与泛化的渐近权衡，发现特征衰减指数越大权衡越差，并验证浅层神经网络存在类似现象。
2024-03-12 cs.LG stat.ML
Fast Generalization after Interpolation via Critically Damped Momentum Optimization
University of Cambridge（剑桥大学）；University of Hawaii at Manoa（夏威夷大学曼瑙分校）
提出GROKtimizer双阶段策略，结合快速收敛到插值与临界阻尼动量后插值范数最小化，在局部二次模型下实现比经典梯度下降二次加速，选择低范数插值解以提升泛化。
2026-06-01 cs.LG stat.ML
Overparameterization and generalization error: weighted trigonometric interpolation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；RWTH Aachen University（亚琛工业大学）
受超参数化场景中学习后的深度神经网络令人惊讶的良好泛化特性以及相关的双下降现象的启发，本文分析了超参数化线性学习问题中平滑度与低泛化误差之间的关系。我们研究了一个随机傅里叶级数模型，其中的任务是从等距样本估计未知的傅里叶系数。我们推导出精确表达式的泛化误差的平原和加权最小二乘估计。我们精确地展示了如何偏向光滑插值，在加权三角插值的形式，可以导致较小的泛化误差在overparameterized政权相比，underparameterized政权。这提供了对过度参数化的力量的洞察，这在现代机器学习中很常见。
2021-10-27 cs.LG math.OC stat.ML
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University（华南农业大学）；Pazhou Lab（琶洲实验室）
由于卷积神经网络（CNN）的Lipschitz性质被广泛认为与对抗鲁棒性有关，本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数，并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理，我们提出了一种新的正则化方法，称为范数衰减，它可以有效地减少卷积层和全连接层的范数。实验表明，范数正则化方法，包括范数衰减，权重衰减和奇异值裁剪，可以提高CNN的泛化能力。然而，它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象，我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数，并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外，我们证明了在一个温和的假设下，对抗鲁棒分类器可以实现使用神经网络，和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因，在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization
CMU（卡内基梅隆大学）
分布外泛化的一个流行假设是，训练数据包括子数据集，每个子数据集都来自不同的分布;目标是“内插”这些分布并“外推”到它们之外-这个目标被广泛称为领域泛化。一个普遍的看法是，机构风险管理可以内插，但不能外推，后者要困难得多，但这些说法是模糊的，缺乏正式的理由。在这项工作中，我们重铸泛化子群之间的玩家最大限度地减少风险和对手提出新的测试分布的在线游戏。根据现有的概念间和外推的基础上重新加权的子组的可能性，我们严格证明，外推是计算上比插值困难得多，虽然他们的统计复杂性是没有显着不同。此外，我们表明，ERM -或嘈杂的变种-是可证明的最小最优的这两项任务。我们的框架提出了一个新的途径，正式分析的领域泛化算法，可能是独立的利益。
2021-11-18 cs.AI cs.GT cs.LG
Understanding overfitting peaks in generalization error: Analytical risk curves for $l_2$ and $l_1$ penalized interpolation
Cold Spring Harbor Laboratory（冷泉港实验室）
传统上，在回归中，最小化拟合参数的数量或使用平滑/正则化来权衡训练（TE）和泛化误差（GE）。通过增加拟合自由度（dof）将TE驱动到零预期将增加GE。然而，现代的大数据方法，包括深度网络，似乎过度参数化并将TE发送到零（数据插值），而不会影响GE。过度参数化的好处是经验损失函数的全局最小值激增，变得更容易找到。这些现象引起了理论界的关注。回归和分类算法已被证明，插值数据，但也最佳地推广。人们注意到一个有趣的相关现象：存在非单调风险曲线，随着自由度的增加，GE中出现峰值。有人建议，该峰值将经典制度与现代制度分开，在现代制度中，过度参数化提高了性能。类似的过度拟合峰之前也有报道（统计物理学方法学习），并归因于拟合模型灵活性的增加。我们引入了一个生成和拟合模型对（“错误参数化稀疏回归”或MiSpaR），并表明过拟合峰值可以与拟合函数获得足够自由度以匹配数据生成模型的点分离，从而提供了良好的泛化。这使得过度拟合峰的解释复杂化，因为过度拟合峰将“古典”与“现代”政权分开。数据插值本身并不能保证很好的推广性：我们需要研究具有不同惩罚项的插值。在插值极限$λ\rightarrow 0$下，我们给出了带有$l_2$和$l_1$惩罚的MiSpaR风险曲线的解析公式，这些风险曲线表现出重要的差异，有助于阐明潜在的现象.
2019-06-09 cs.LG physics.data-an stat.ML
Failures of model-dependent generalization bounds for least-norm interpolation
UC Berkeley（加州大学伯克利分校）；Google（谷歌公司）
我们考虑的最小范数线性回归的泛化性能的界限，在过参数化制度，它可以插值的数据。我们描述了一种意义上的任何泛化界的一种类型，通常证明在统计学习理论有时必须非常宽松时，应用于分析最小范数插值。特别地，对于训练样本上的各种自然联合分布，任何有效的泛化界仅取决于学习算法的输出、训练样本的数量和置信度参数，并且满足温和的条件（显著弱于样本量的单调性），有时必须非常宽松--当真正的超额风险为零时，它可以被一个常数限制在下面。
2021-01-20 cs.LG math.ST stat.ML
Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Southern California（南加州大学）
最先进的神经网络架构继续在规模上扩展并提供令人印象深刻的泛化结果，尽管这是以有限的可解释性为代价的。特别是，一个关键的挑战是确定何时停止训练模型，因为这对泛化有重大影响。卷积神经网络（ConvNets）包括由多个通道的聚合形成的高维特征空间，其中由于维数灾难，分析中间数据表示和模型的演化可能具有挑战性。我们提出了通道式DeepNNK（CW-DeepNNK），这是一种基于非负核回归（NNK）图的新型通道式泛化估计，我们使用它在低维通道上执行局部多面体插值。这种方法导致基于实例的可解释性的学习数据表示和通道之间的关系。受我们观察的启发，我们使用CW-DeepNNK提出了一种新的早期停止标准，该标准（i）不需要验证集，（ii）基于任务性能指标，（iii）允许在每个通道的不同点停止。我们的实验表明，我们提出的方法相比，基于验证集性能的标准标准具有优势。
2021-07-27 cs.LG stat.ML
Deep Double Descent via Smooth Interpolation
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文通过研究输入空间中损失景观的尖锐度，揭示了深度网络在模型和训练轮数层面的双重下降现象，发现大规模插值模型通过平滑拟合噪声数据来保持泛化能力，颠覆了传统直觉。
2023-04-08 cs.LG stat.ML
Grokking through the Lens of Minimum-Norm Interpolation
ETH Zürich（苏黎世联邦理工学院）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Harvard University（哈佛大学）
本文提出统计理论，揭示正则化几何与信号稀疏性如何控制插值附近的泛化，证明零一律并刻画泛化增益，实验验证了理论预测，并发现最小范数插值的统计不稳定性。
2026-10-01 cs.LG math.ST stat.ML
Risk Bounds of Multi-Pass SGD for Least Squares in the Interpolation Regime
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）
随机梯度下降（SGD）算法由于其在优化和推广方面的优越性能而获得了巨大的成功。大多数现有的泛化分析都是针对单通道SGD进行的，与常用的多通道SGD相比，单通道SGD是一种不太实用的变体。此外，多遍SGD的理论分析往往关注一类问题中的最坏情况实例，这可能是悲观的，以解释某些特定问题实例的优越泛化能力。本文的目标是通过在内插机制中为最小二乘开发一个依赖于实例的超额风险界，来清晰地描述多遍SGD的泛化，该风险界表示为迭代次数、步长和数据协方差的函数。我们发现，SGD的超额风险可以准确地分解为GD的超额风险和一个正的波动误差，这表明SGD总是表现得更差，实例明智的，比GD，在推广。另一方面，我们表明，虽然SGD需要更多的迭代比GD达到相同水平的超额风险，它节省了随机梯度评估的数量，因此是优选的计算时间。
2022-03-07 cs.LG math.OC stat.ML
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University（清华大学）；Google Cloud AI（谷歌云人工智能）
最近，深度神经网络已经显示出它们记忆训练数据的能力，即使带有噪声标签，这会损害泛化性能。为了缓解这个问题，我们提供了一个简单但有效的基线方法，即使在严重的噪声下，该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项，该项隐含地惩罚整个训练集（包括带有噪音标签的数据）上的神经网络的雅可比范数，这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明，我们的方法实现了最先进的性能，对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
Harmless interpolation of noisy data in regression
UC Berkeley（加州大学伯克利分校）
在理解深度神经网络的经验成功方面，一个持续的谜团是它们能够实现零训练误差并很好地泛化，即使训练数据是嘈杂的，参数比数据点多。我们研究了线性回归中的这种过度参数化机制，其中所有最小化训练误差的解决方案都会对数据进行插值，包括噪声。我们的特点的基本推广（均方）误差的任何插值解决方案中存在的噪声，并表明，这种错误衰减到零的功能的数量。因此，overparameterization可以明确有益于确保无害的噪声插值。我们讨论了两个根本原因是互补的性质-信号“出血”到大量的别名功能，和过度拟合的噪声吝啬的功能选择器。对于含噪声的稀疏线性模型，我们提供了一种混合插值方案，该方案可以缓解这两个问题，并在所有可能的插值解上实现阶次最优MSE。
2019-09-09 cs.LG stat.ML
Strong inductive biases provably prevent harmless interpolation
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
经典智慧认为，估计器应该避免拟合噪声，以实现良好的泛化。相比之下，现代过参数化模型可以产生小的测试误差，尽管插值噪声-一种现象通常被称为“良性过拟合”或“无害插值”。本文认为，插值的无害程度取决于估计量的归纳偏差的强度，即，估计器在多大程度上倾向于具有某种结构的解决方案：虽然强归纳偏差会阻止无害的插值，但弱归纳偏差甚至可能需要拟合噪声才能很好地推广。我们的主要理论结果为高维核回归建立了紧密的非渐近边界，反映了卷积核的这种现象，其中滤波器大小调节了感应偏差的强度。我们进一步提供了具有不同滤波器大小和旋转不变性的深度神经网络的相同行为的经验证据。
2023-03-01 cs.LG stat.ML
PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime
University of Aalborg（奥尔堡大学）；Universidad Autónoma de Madrid（马德里自治大学）
本文提出依赖分布且对插值器紧致的PAC-Chernoff界，基于大偏差理论定义模型平滑性，构建统一框架解释插值器泛化差异，揭示现代学习方法引导优化器趋向更平滑插值器以提升泛化的机制。
2025-02-10 cs.LG math.ST stat.ML
Constructive interpolation and generalization rates for neural ODEs: a control perspective
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Universidad Autónoma de Madrid（马德里自治大学）；Universidad de Deusto（德乌斯托大学）
从控制理论角度，通过构造性证明半自主神经ODE（SA-NODE）具有同时单元可控性（SCC），实现精确插值并导出与直方图和最近邻估计器相当的泛化风险界。
2026-06-05 math.OC stat.ML
The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training
Stanford University（斯坦福大学）
现代神经网络通常在一个强烈的过度参数化的制度：他们包括这么多的参数，他们可以插值的训练集，即使实际的标签是由纯粹的随机取代。尽管如此，它们在看不见的数据上实现了良好的预测误差：对训练集进行插值不会导致大的泛化误差。此外，过度参数化似乎是有益的，因为它简化了优化环境。在这里，我们研究这些现象的上下文中的神经切线（NT）政权的两层神经网络。我们考虑一个简单的数据模型，各向同性协变量向量在$d$维，和$N$隐藏的神经元。我们假设样本量$n$和维度$d$都很大，并且它们是多项式相关的。我们的第一个主要结果是在overparametrized制度$Nd\gg n$的经验NT内核的特征结构的表征。这种特征意味着作为推论，经验NT内核的最小特征值是有界远离零，只要$Nd\gg n$，因此网络可以精确地插入任意标签在相同的制度。我们的第二个主要结果是NT岭回归的泛化误差的一个特征，包括作为一个特殊情况，min- $\ell_2$范数插值。我们证明了，只要$Nd\gg n$，测试误差很好地逼近核岭回归关于无限宽核。后者反过来又很好地近似多项式岭回归的错误，从而正则化参数增加了一个“自诱导”的长期有关的高次组件的激活函数。多项式次数取决于样本量和维数（特别是$\log n/\log d$）。
2022-06-09 cs.LG math.ST stat.ML
Fast Rates for Noisy Interpolation Require Rethinking the Effects of Inductive Bias
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在高维数据上的良好泛化性能关键取决于地面真值的简单结构和相应的估计量的强归纳偏差。尽管这种直觉对正则化模型是有效的，但在本文中，我们警告在存在噪声的情况下，插值的强烈归纳偏差：虽然更强的归纳偏差鼓励更简单的结构，更符合地面真理，但它也增加了噪声的有害影响。具体而言，对于线性回归和分类与稀疏地面真相，我们证明了最小$\ell_p$ -范数和最大$\ell_p$ -利润插值器实现快速多项式速率接近于$p > 1$的$1/n$顺序相比，$p = 1$的对数速率。最后，我们提供了初步的实验证据，这种权衡也可能发挥至关重要的作用，在理解非线性插值模型在实践中使用。
2022-10-26 cs.LG stat.ML
A Note on Generalization in Variational Autoencoders: How Effective Is Synthetic Data & Overparameterization?
AI Center Tübingen（蒂宾根人工智能中心）；University of Tübingen（蒂宾根大学）
本文从深度学习视角研究合成数据与过参数化对变分自编码器泛化能力的影响，发现两者均能有效缓解过拟合，提升模型的泛化、摊销推断及鲁棒性表现。
2024-12-22 cs.CV cs.LG stat.ML
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore（新加坡国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
深度强化学习（RL）在有限的环境中训练的代理往往会遭受过拟合，并且无法推广到看不见的测试环境。为了提高其通用性，数据增强的方法（如剪切和随机卷积），以前探索增加数据的多样性。然而，我们发现这些方法只是局部扰动的观察，无论训练环境，提高数据的多样性和泛化性能表现出有限的效果。在这项工作中，我们介绍了一种简单的方法，名为mixreg，它训练代理的混合观察来自不同的训练环境，并施加线性约束的观察插值和监督（例如相关的奖励）插值。Mixreg更有效地增加了数据多样性，并帮助学习更顺畅的策略。我们验证了其有效性，提高泛化进行了广泛的实验上的大型Procgen基准。结果显示，mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
The phase diagram of kernel interpolation in large dimensions
Tsinghua University（清华大学）
本文研究大维度下核插值的泛化能力，通过精确刻画方差和偏差的阶数，得到了 $(s,\gamma)$-相图，划分了核插值最优、次优和不一致的区域，有助于理解良性过拟合现象。
2024-04-19 cs.LG math.ST stat.ML
Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文针对插值空间下的非参数回归问题，提出带早停的预处理梯度下降算法训练过参数化两层神经网络，通过RKHS分解与局部Rademacher复杂度分析，证明其获得了优于现有近似最优速率与标准NTK机制下核回归速率的锐化泛化速率。
2026-10-27 cs.LG math.ST stat.ML
Generalization error of min-norm interpolators in transfer learning
Department of Statistics, Harvard University（哈佛大学统计系）；Department of Statistics, Stanford University（斯坦福大学统计系）；Department of Statistics, University of Florida（佛罗里达大学统计系）
本文研究了迁移学习中池化最小l2范数插值器的泛化误差，分析了协变量偏移和模型偏移下的偏差和方差，揭示了在低信噪比时增加数据可能有害，高信噪比时转移学习的收益条件，并扩展了通用设计下的结果。
2026-06-27 cs.LG math.ST stat.ME
