Stochastic Mirror Descent on Overparameterized Nonlinear Models: Convergence, Implicit Regularization, and Generalization
California Institute of Technology（加州理工学院）
大多数现代学习问题都是高度过度参数化的，这意味着参数比训练数据点的数量多得多，因此，训练损失可能具有无限多个全局最小值（完美内插训练数据的参数向量）。因此，重要的是要了解我们收敛到哪些插值解，它们如何依赖于初始化点和学习算法，以及它们是否会导致不同的泛化性能。在本文中，我们研究了这些问题的家庭随机镜像下降（SMD）算法，其中流行的随机梯度下降（SGD）是一个特殊的情况。我们的贡献是理论和实验。在理论方面，我们表明，在overparameterized的非线性设置，如果初始化是足够接近的流形的全球最小值（的东西来免费的高度overparameterized的情况下），SMD具有足够小的步长收敛到一个全球最小值，这是近似最接近的一个Bregman发散。在实验方面，我们在标准数据集和模型上进行了大量实验，使用了各种初始化、各种镜像下降和各种Bregman分歧，一致证实了这种现象发生在深度学习中。我们的实验进一步表明，有一个由不同的SMD算法得到的解决方案的泛化性能的明显差异。在标准图像数据集和网络架构上进行实验，SMD具有不同类型的隐式正则化，$\ell_1$鼓励稀疏性，$\ell_2$产生SGD，以及$\ell_{10}$阻止参数向量中的大分量，一致且明确地表明，$\ell_{10}$-SMD具有比SGD更好的泛化性能，SGD又具有比$\ell_1$-SMD更好的泛化性能。
2019-06-10 cs.LG math.OC stat.ML
Learning-based solutions to nonlinear hyperbolic PDEs: Empirical insights on generalization errors
New York University Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们研究学习弱解的非线性双曲型偏微分方程（H-PDE），这是很难学习，由于其解决方案的不连续性。我们使用傅立叶神经算子（$π$ -FNO）的物理信息变体来学习弱解。我们根据经验将$π$ -FNO求解器的泛化/样本外误差量化为输入复杂度的函数，即，初始条件和边界条件的分布。我们的测试结果表明，$π$ -FNO推广以及看不见的初始和边界条件。我们发现，泛化误差与输入复杂度呈线性增长。此外，添加物理信息正则化器改进了解决方案中不连续性的预测。我们使用Lighthill-Witham-Richards（LWR）交通流模型作为一个指导性的例子来说明的结果。
2023-02-16 cs.AI cs.LG
Generalization Error Bounds for Picard-Type Operator Learning in Nonlinear Parabolic PDEs
Department of Mathematical and Systems Engineering, Faculty of Engineering（工学系数学与系统工程系）；RIKEN AIP / CyberAgent（RIKEN AIP/ CyberAgent）
本文研究了基于Duhamel-Picard迭代的非线性抛物型PDE解算子学习，提出理论框架并推导了与实现无关的泛化误差界，分析了Picard深度对截断误差和熵基估计误差的影响。
2026-11-03 cs.LG math.AP stat.ML
Statistical Mechanics of Nonlinear On-line Learning for Ensemble Teachers
Kobe City College of Technology（神户市立工业高等专门学校）；Kobe University（神户大学）；The University of Tokyo（东京大学）；RIKEN Brain Science Institute（理化学研究所脑科学研究所）
我们分析了一个学生的泛化性能的非线性感知器组成的模型：一个真正的老师，合奏教师，和学生。我们计算的泛化误差的学生分析或数值使用统计力学的框架内的在线学习。我们处理两个著名的学习规则：Hebbian学习和感知器学习。结果表明，非线性模型表现出与线性模型不同的性质。此外，它是澄清，赫布学习和感知器学习表现出质的不同的行为从对方。在Hebbian学习中，我们可以解析地得到解。在这种情况下，泛化误差单调减小。泛化误差的稳定值与学习率无关。教师人数越多，教师群体的多样性越大，泛化误差越小。在感知器学习中，我们必须数值地获得解决方案。在这种情况下，泛化误差的动力学行为是非单调的。学习率越小，教师人数越多;集成教师种类越多，泛化误差的最小值越小。
2007-05-16 cond-mat.dis-nn cs.LG
Generalization Error Guaranteed Auto-Encoder-Based Nonlinear Model Reduction for Operator Learning
Hong Kong Baptist University（香港浸会大学）；Purdue University（普渡大学）
提出基于自编码器神经网络AENet的非线性模型降维方法以学习算子，通过非线性PDE实验验证其精度，并建立泛化误差理论，揭示样本复杂度与内蕴维度的关系及抗噪性。
2024-01-19 cs.LG
Deep Semi-Random Features for Nonlinear Function Approximation
Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；Aalto University（阿尔托大学）
我们提出了半随机特征的非线性函数逼近。半随机特征的灵活性介于深度学习中的完全可调单元和核方法中使用的随机特征之间。对于具有半随机特征的一个隐藏层模型，我们在没有不切实际的假设的情况下证明，随着宽度的增加，模型类包含任意好的函数（普适性），尽管非凸，我们仍然可以找到这样一个好的函数（优化理论），它可以推广到看不见的新数据（推广界）。对于深度模型，没有不切实际的假设，我们证明了通用的近似能力，近似误差的下限，部分优化保证和泛化界。根据问题的不同，深度半随机特征的泛化界可以指数地优于深度ReLU网络的已知界;我们的泛化误差界可以与深度、可训练权重的数量以及输入维度无关。在实验中，我们表明，半随机特征可以匹配神经网络的性能，通过使用稍多的单元，它优于随机特征，通过使用显着更少的单元。此外，我们引入了一个新的隐式集成方法，利用半随机特征。
2017-11-21 cs.LG cs.NE stat.ML
Lower Generalization Bounds for GD and SGD in Smooth Stochastic Convex Optimization
Yale University（耶鲁大学）；Tsinghua University（清华大学）；Shanghai Qizhi Institute（上海期智研究院）
本文针对光滑随机凸优化中的GD和SGD，给出了训练步数与步长乘积在不同量级下的过量风险下界，揭示过拟合现象，并指出在长训练时间下上下界存在可缩小的差距。
2023-05-10 cs.LG math.OC stat.ML
A Tight Lower Bound for Uniformly Stable Algorithms
Princeton University（普林斯顿大学）
利用算法的稳定性来获得精确的泛化边界是学习理论中一种经典而强大的方法。自从Vapnik和Chervonenkis [1974]首次正式提出了分析SVM的想法以来，它已被用于研究许多基本的学习算法（例如，$k$ -最近邻[Rogers和Wagner，1978]，随机梯度法[Hardt等人，2016]，线性回归[Maurer，2017]等）。在Feldman和Vondrak [2018，2019]以及Bousquet等人[2020 b]最近的一系列伟大作品中，他们证明了任何一致$γ$稳定算法和$L$有界损失函数的$\tilde{\mathcal{O}}(γ+\frac{L}{\sqrt{n}})$阶的高概率推广上界。虽然在证明稳定算法的推广上界方面取得了很大的进展，但我们对下界的了解却相当有限。事实上，自一致稳定性的研究[Bousquet和Elisseeff，2002]以来，就我们所知，没有已知的非平凡下界。在本文中，我们填补了空白，证明了一个严格的推广下界的顺序$Ω(γ+\frac{L}{\sqrt{n}})$，它匹配的最佳已知的上界的对数因子
2021-01-24 cs.AI cs.LG stat.ML
Unified generalization analysis for physics informed neural networks
NTT, Inc.（NTT公司）；RIKEN AIP（理化学研究所AIP）
本文基于物理信息神经网络和变分PINNs，推导出包含输入变量微分的神经网络泛化界，通过泰勒展开将非线性微分算子转化为高维空间的线性算子，展示高阶网络在微分算子场景下的泛化能力，并指出非线性算子对泛化的影响。
2026-05-13 cs.LG math.AP math.FA
Asymptotic Consistency and Generalization in Hybrid Models of Regularized Selection and Nonlinear Learning
本文基于 Friedman 方程模拟评估23个模型，发现结合正则化选择与非线性学习的混合模型能在噪声高维数据中兼顾预测、变量识别与稳健性。
2025-08-31 stat.ME stat.OT
Generalization in Nonlinear Least Squares via Learned Feature Geometry
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）；Sapient Intelligence（智睿科技）
通过算法稳定性分析岭正则化非线性最小二乘的泛化误差，利用经验雅可比Gram矩阵和残差曲率项定义数据依赖的有效维度，并证明其与内在维度而非参数数量相关。
2026-10-01 cs.LG stat.ML
Nonlinear generalization of the monotone single index model
Simula Research Laboratory（Simula研究实验室）；SimulaMet
单指数模型是一种功能强大而又简单的模型，广泛应用于统计学、机器学习等科学领域。它将回归函数建模为$g(<a,x>)$，其中a是未知索引向量，x是特征。本文讨论了这个框架的非线性推广，允许使用多个索引向量的回归，适应当地的变化的反应。为此，我们利用函数驱动分区上的条件分布，并使用线性回归来局部估计索引向量。然后，我们回归应用kNN型估计，使用本地代理的测地线度量。我们提出了局部索引向量估计和样本外预测的理论保证，并通过在合成和真实数据集上的实验证明了我们的方法的性能，将其与最先进的方法进行了比较。
2019-09-05 cs.LG math.ST stat.ML
Nonlinear Invariant Risk Minimization: A Causal Approach
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Alan Turing Institute（艾伦·图灵研究所）
由于虚假的相关性，机器学习系统通常无法推广到分布与训练时使用的分布不同的环境。以前的工作解决这个问题，无论是显式或隐式，试图找到一个数据表示，具有不变的关系与目标。这是通过利用一组不同的训练环境来减少虚假特征的影响并构建一个不变的预测器来实现的。然而，这些方法只有在数据表示和分类器都来自线性模型类时才有泛化保证。我们提出了不变因果表示学习（iCaRL），这是一种在非线性环境中实现分布外（OOD）泛化的方法（即，非线性表示和非线性分类器）。它建立在一个实际和一般的假设之上：数据表示的先验（即，编码数据的一组潜在变量）属于一般指数族分布。在此基础上，我们表明，它是可能的，以确定简单的转换的数据表示。我们还证明了目标的所有直接原因可以被完全发现，这进一步使我们能够在非线性设置中获得泛化保证。在合成数据集和真实数据集上的大量实验表明，我们的方法优于各种基线方法。最后，在讨论中，我们进一步探讨了上述假设，并提出了一个更普遍的假设，称为不可知论假设：存在一组隐藏的因果因素影响输入和结果。不可知论假说可以提供机器学习的统一观点。更重要的是，它可以激发一个新的方向，探索一个通用的理论，识别隐藏的因果因素，这是关键，使面向对象的泛化保证。
2022-10-18 cs.LG stat.ML
Invariant Information Bottleneck for Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。
2022-03-21 cs.LG stat.ML
The Nonlinearity Coefficient - Predicting Generalization in Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
很长一段时间以来，设计表现出高性能的神经架构被认为是一种需要专家手工调整的黑暗艺术。建筑设计中为数不多的著名准则之一是避免梯度爆炸，尽管即使是这一准则也仍然相对模糊和间接。我们引入了非线性系数（NLC），这是一个基于梯度大小的神经网络计算的函数复杂性的度量。通过一个广泛的实证研究，我们表明，NLC是一个强大的预测测试误差，达到一个正确的大小NLC是必不可少的最佳性能。NLC具有一系列有趣而重要的特性。它与计算单个网络梯度所获得的信息量密切相关。它与用线性运算代替网络中的非线性运算时产生的误差有关。它不容易受到乘性标度、加性偏差和层宽的混淆。它在层与层之间是稳定的。因此，我们认为NLC是深度网络中过拟合的第一个鲁棒预测器。
2019-01-31 cs.CV cs.LG stat.ML
A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization
Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL)（计算统计物理实验室，瑞士联邦理工学院（EPFL））
本文提出一个高维模型，展示非线性自编码器能学习线性方法如PCA无法捕捉的结构，尽管其测试损失与泛化性能不一致。
2026-08-11 cond-mat.dis-nn cs.LG stat.ML
Extended Koopman Models
MIT（麻省理工学院）
我们介绍了非线性动态建模的库普曼算子方法的两种新推广。这些推广导致大大提高了预测性能，而不牺牲一个独特的特点Koopman方法：快速，全局最优控制的非线性，非凸系统的潜力。第一个推广，凸Koopman模型，在提升空间中使用凸而不是线性动力学。第二，扩展Koopman模型，另外引入了一个可逆的控制信号，有助于提升凸动态变换。我们描述了一种深度学习架构，用于参数化这些类别的模型，并通过实验证明，在两个非线性、非凸动态系统的轨迹预测中，每种模型都明显优于传统的Koopman模型。
2020-10-14 cs.LG cs.NE cs.SY
