Non-Vacuous Generalisation Bounds for Shallow Neural Networks
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
我们专注于一类特定的浅神经网络与一个单一的隐藏层，即那些与$L_2$规范化的数据和S形高斯误差函数（“erf”）激活或高斯误差线性单元（GELU）激活。对于这些网络，我们通过PAC-贝叶斯理论得到新的泛化边界;与大多数现有的此类边界不同，它们适用于具有确定性参数而不是随机参数的神经网络。当网络在MNIST和Fashion-MNIST上使用香草随机梯度下降进行训练时，我们的边界是经验非空的。
2022-06-15 cs.LG stat.ML
Generalization and Expressivity for Deep Nets
Wenzhou University（温州大学）
随着深度学习在实践中的快速发展，对其成功的理论解释变得迫切。泛化和表达性是量化深度学习理论行为的两个广泛使用的度量。表达性的重点是找到深网络可表达的函数，但不能用具有类似数量神经元的浅网络近似。它通常意味着大容量。泛化的目的是为深度网络获得快速的学习率。它通常需要较小的容量来减小方差。与以往深度学习的研究中追求表达性或泛化性不同，我们将这两个因素都考虑在内，以探索深度网络的理论优势。为此，我们构建了一个深度网络，其中两个隐藏层在局部和稀疏近似方面具有出色的表现力。然后，利用众所周知的覆盖数来衡量容量，我们发现，深网具有良好的表达能力（通过局部和稀疏近似来衡量），而不会扩大浅网的容量。因此，我们获得了接近最优的学习率，用于在构建的深度网络上实现经验风险最小化（ERM）。这些结果从理论上展示了从学习理论角度来看深度网络的优势。
2018-03-23 cs.LG
SUPN: Shallow Universal Polynomial Networks for Efficient Function Approximation
Sandia National Laboratories（桑地亚国家实验室）；National Technology and Engineering Solutions of Sandia, LLC（桑地亚技术与工程解决方案公司）；Honeywell International Inc.（霍尼韦尔国际公司）
SUPN通过使用多项式层替代大部分隐藏层，以更少的参数实现高表达性，优于DNN和KAN，在多项式投影上也表现更佳。
2026-10-16 cs.LG cs.NA math.NA
Finite-Time Analysis of Gradient Descent for Shallow Transformers
The Ohio State University（俄亥俄州立大学）；RWTH Aachen University（亚琛工业大学）
本文研究了浅层变换器在核域内通过投影梯度下降训练的有限时间性能，发现其宽度需求与样本量呈对数关系，优化误差与序列长度无关，与递归架构形成对比。
2026-04-02 cs.AI cs.LG math.OC
Representation and Regression Problems in Neural Networks: Relaxation, Generalization, and Numerics
Institut de Mathematiques de Bourgogne, Universite Bourgogne Europe, CNRS（勃艮第数学研究所，勃艮第欧洲大学，法国国家科学研究中心）；Universidad Autónoma de Madrid（马德里自治大学）；Fundación Deusto（德乌斯托基金会）
本文通过平均场方法将浅层神经网络训练中的三个非凸优化问题凸化，证明了无松弛间隙，建立了泛化界，并针对高维数据提出稀疏化算法结合梯度下降有效求解原始问题。
2025-04-03 cs.LG math.OC
Learning Single-Index Models with Shallow Neural Networks
New York University（纽约大学）；Meta AI；Columbia University（哥伦比亚大学）
单指标模型是一类函数，由应用于输入的未知一维投影的未知单变量“链接”函数给出。这些模型在高维中特别相关，当数据可能呈现低维结构时，学习算法应该适应。虽然该模型的几个统计方面，例如恢复相关（一维）子空间的样本复杂性，是很好理解的，但它们依赖于利用目标函数的特定结构的定制算法。在这项工作中，我们引入了一个自然类的浅神经网络，并研究其通过梯度流学习单指标模型的能力。更确切地说，我们考虑的是浅层网络，其中神经元的偏差在随机初始化时被冻结。我们表明，相应的优化景观是良性的，这反过来又导致泛化保证，匹配的近最佳样本的专用半参数方法的复杂性。
2022-10-27 cs.LG math.OC stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
The Global Optimization Geometry of Shallow Linear Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Technion, Israel Institute of Technology（以色列理工学院）；Colorado School of Mines（科罗拉多矿业学院）
我们研究了浅线性神经网络的平方误差损失景观。我们表明-与显着温和的假设比以前的作品-相应的优化问题具有良性的几何性质：有没有虚假的局部极小值和Hessian在每个鞍点至少有一个负特征值。这意味着在每个鞍点处存在方向负曲率，算法可以利用该方向负曲率来进一步减小目标值。这些几何性质意味着许多局部搜索算法（如广泛用于训练神经网络的梯度下降算法）可以证明以全局收敛的方式解决训练问题。
2018-11-05 cs.LG stat.ML
Convergence analysis of wide shallow neural operators within the framework of Neural Tangent Kernel
Tsinghua University（清华大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对神经算子训练误差分析缺失的问题，本文在NTK框架下分析宽浅及物理信息浅神经算子的梯度下降收敛性，证明过参数化下连续与离散时间均可达到全局最小。
2025-01-10 cs.DS cs.LG math.OC
How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM沃森人工智能实验室（IBM研究院））；IBM Research（IBM研究院）；University at Buffalo（布法罗大学）
自训练是一种半监督学习算法，当标记数据有限时，它利用大量未标记数据来改进学习。尽管在经验上取得了成功，但其理论特征仍然难以捉摸。据我们所知，这项工作建立了已知的迭代自训练范式的第一个理论分析，并证明了未标记数据在训练收敛和泛化能力方面的好处。为了使我们的理论分析可行，我们集中在单隐层神经网络的情况下。然而，迭代自训练的理论理解是不平凡的，即使是浅神经网络。其中一个关键挑战是，现有的神经网络景观分析建立在监督学习不再持有（半监督）自训练范式。我们解决了这一挑战，并证明迭代自训练的收敛速度和泛化精度都线性提高了$1/\sqrt{M}$的顺序，其中$M$是未标记样本的数量。还提供了从浅层神经网络到深层神经网络的实验，以证明我们建立的自训练理论见解的正确性。
2022-02-14 cs.LG eess.SP
Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization
Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）
虽然深度学习在许多应用中取得了成功，但理论上还没有得到很好的理解。然而，一个令人满意的深度学习的理论特征开始出现。它涵盖了以下问题：1）深度网络的表示能力2）经验风险的优化3）梯度下降技术的泛化特性-为什么当网络过度参数化时，尽管没有显式正则化，预期误差不会受到影响？在这篇综述中，我们讨论了这三个领域的最新进展。在近似理论中，浅网络和深网络都被证明可以近似有界域上的任何连续函数，代价是指数数量的参数（函数的维数是指数的）。然而，对于组成函数的子集，卷积类型的深度网络可以对维度具有线性依赖性，这与浅层网络不同。在优化中，我们讨论了指数损失函数的损失景观，并表明随机梯度下降将以高概率找到全局最小值。为了解决分类任务的泛化问题，我们使用经典的一致收敛结果来证明在每层权重矩阵的单位范数约束下最小化替代指数型损失函数的合理性--因为分类的有趣变量是权重方向而不是权重。我们的方法得到了几个独立的新结果的支持，为深度过参数化ReLU网络的泛化性能难题提供了解决方案，揭示了底层隐藏复杂性控制的起源。
2019-08-25 cs.LG stat.ML
A Dynamical Central Limit Theorem for Shallow Neural Networks
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Department of Chemistry, Stanford University（斯坦福大学化学系）；Center for Data Science, New York University（纽约大学数据科学中心）
最近的理论工作的特点是通过梯度下降训练的宽浅神经网络的动态渐近平均场极限时，宽度趋于无穷大。在初始化时，参数的随机采样导致偏离经典中心极限定理（CLT）规定的平均场极限。然而，由于梯度下降引起参数之间的相关性，因此分析这些波动如何演变是有意义的。在这里，我们使用一个动态CLT来证明在整个训练过程中，平均极限周围的渐近波动在均方上保持有界。上界由蒙特卡洛回归误差给出，其方差取决于基础测量的2-范数，这也控制了泛化误差。这促使在训练期间使用这个2-norm作为正则化项。此外，如果平均场动力学收敛到一个内插的训练数据的措施，我们证明了渐近偏差最终消失在CLT缩放。我们还补充这些结果与数值实验。
2022-03-26 cs.LG math.OC math.PR
Finite Sample Identification of Wide Shallow Neural Networks with Biases
Technical University of Munich（慕尼黑工业大学）；Deeptech Consulting（深科技咨询公司）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））
人工神经网络是依赖于通常编码为权重和偏置的有限数量的参数的函数。从输入输出对的有限样本中识别网络的参数通常被称为\emph{teacher-student model}，并且该模型代表了用于理解训练和泛化的流行框架。即使在最坏的情况下，这个问题是NP完全的，一个快速增长的文献-在添加适当的分布假设-已经建立了有限样本识别的两层网络与一些神经元$m=\mathcal O(D)$，$D$的输入尺寸。对于范围$D<m<D^2$，问题变得更加困难，并且对于由偏差参数化的网络也知之甚少。本文填补了这一空白，提供了建设性的方法和有限样本识别这类更广泛的偏置浅网络的理论保证。我们的方法是基于一个两步的管道：首先，我们恢复的方向的权重，利用二阶信息，接下来，我们确定的迹象，通过适当的代数评估，我们通过经验风险最小化通过梯度下降恢复的偏见。数值结果证明了我们的方法的有效性。
2022-11-08 cs.LG stat.ML
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL（TML，瑞士联邦理工学院）
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学，揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
Learning Trajectories are Generalization Indicators
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
本文探讨了深度神经网络（DNN）的学习轨迹与使用（随机）梯度下降算法优化时的泛化能力之间的联系。而不是仅仅集中在DNN后训练的泛化误差，我们提出了一个新的视角来分析泛化误差，通过调查每个更新步骤的贡献，在泛化误差的变化。这种观点允许更直接地理解学习轨迹如何影响泛化误差。在此基础上分析，我们提出了一个新的泛化范围，采用更广泛的轨迹信息。我们提出的泛化界取决于学习轨迹的复杂性和训练集的偏差和多样性之间的比率。实验结果表明，我们的方法有效地捕捉整个训练过程中的泛化误差。此外，我们的方法还可以跟踪泛化误差的变化时，调整学习率和标签噪声水平。这些结果表明，学习轨迹信息是模型泛化能力的有价值的指标。
2023-10-31 cs.LG
Small Sample Inference for Generalization Error in Classification Using the CUD Bound
University of Michigan（密歇根大学）
当使用小训练样本来构造分类器时，泛化误差的置信度度量是至关重要的。一种常见的方法是通过重采样估计泛化误差，然后假设重采样估计量遵循已知分布以形成置信集[Kohavi 1995，Martin 1996，Yang 2006]。或者，可以引导泛化误差的重新采样估计量以形成置信集。不幸的是，这些方法不能可靠地提供所需置信度的集合。差的性能似乎是由于缺乏作为学习分类器的函数的泛化误差的平滑性。这导致估计的泛化误差的非正态分布。我们构造了一个置信集的泛化误差之间的偏差的重采样估计和泛化误差的光滑上界。置信度集是通过自举这个上界形成的。在分类器的近似类可以表示为参数添加剂模型的情况下，我们提供了一个计算效率高的算法。该方法在一系列测试和模拟数据集上表现出优越的性能。
2012-06-13 cs.LG stat.ML
Generalization Through The Lens Of Leave-One-Out Error
ETH Zürich（苏黎世联邦理工学院）；University of Basel（巴塞尔大学）
尽管深度学习模型在解决各种学习任务方面取得了巨大的经验成功，但我们对其泛化能力的理论理解非常有限。基于VC维或Rademacher复杂度等工具的经典泛化边界到目前为止不适合深度模型，即使在最理想的环境中，这些技术也可能产生严格的边界（Nagarajan & Kolter，2019）。在这项工作中，我们重新审视了留一（LOO）错误的概念，以衡量所谓的内核机制中深度模型的泛化能力。虽然LOO错误在统计学中很流行，但在深度学习的背景下，它在很大程度上被忽视了。通过建立在最近建立的神经网络和内核学习之间的联系，我们利用了留一错误的封闭形式表达式，使我们能够访问测试错误的有效代理。我们从理论和经验上证明了留一错误能够捕获泛化理论中的各种现象，如双下降，随机标签或迁移学习。因此，我们的工作表明，留一法误差提供了一种易于处理的方法来估计核机制中深度神经网络的泛化能力，为泛化领域潜在的新研究方向打开了大门。
2022-03-07 cs.LG
Nonparametric Regression with Shallow Overparameterized Neural Networks Trained by GD with Early Stopping
我们探讨了过参数化的浅层神经网络在使用梯度下降（GD）训练时，在有和没有标签噪声的情况下学习Lipschitz回归函数的能力。为了避免在存在噪声标签的情况下，训练到接近零训练误差的神经网络在这个类上不一致的问题，我们提出了一个早期停止规则，使我们能够显示最佳速率。这为Hu等人（2021）的结果提供了一种替代方案，Hu等人研究了$\ell 2$ -正则化GD在非参数回归中训练浅网络的性能，该非参数回归完全依赖于无限宽网络（神经切线核（NTK））近似。在这里，我们提出了一个更简单的分析，这是基于输入空间的分区参数（如在1-最近邻规则的情况下），再加上这样一个事实，即训练的神经网络是光滑的相对于它们的输入时，GD训练。在无噪声的情况下，证明不依赖于任何核化，可以被视为一个有限宽度的结果。在标签噪声的情况下，通过稍微修改证明，使用Yao，Rosasco和Caponnetto（2007）的技术控制噪声。
2022-12-29 cs.LG stat.ML
Generalization error bounds for stationary autoregressive models
Carnegie Mellon University（卡内基梅隆大学）
我们推导了平稳单变量自回归（AR）模型的推广误差界。我们表明，施加平稳性是足以控制高斯复杂性，而无需进一步的正则化。这使我们可以使用结构风险最小化进行模型选择。我们通过预测利率变动来展示我们的方法。
2011-06-03 cs.LG stat.ML
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
泛化误差界对于理解机器学习算法至关重要。基于输出假设与输入训练样本的平均联合分布，提出了一种新的期望泛化误差上界。给出了基于不同信息测度的多个泛化误差上界，包括Wasserstein距离、总变差距离、KL散度和Jensen-Shannon散度。由于凸性的信息措施，建议的界Wasserstein距离和总变异距离被证明是紧比他们的同行的基础上，在文献中的个别样本。最后给出了一个例子来验证所提出的泛化误差界的严密性。
2022-02-24 cs.IT cs.LG math.IT
Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms
University College London（伦敦大学学院）
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，建立在一个新的约束的期望值的任意函数的人口和经验风险的学习算法，我们提供了一个更精细的分析的泛化行为的机器学习模型的基础上的表征（边界），他们的泛化误差时刻。我们讨论了如何建议的界限-其中也包括新的界限，预期的泛化误差-与现有的界限在文献中。我们还讨论了如何建议的泛化误差矩界可以用来构建新的泛化误差高概率界。
2021-05-05 cs.IT cs.LG math.IT
Almost-everywhere algorithmic stability and generalization error
我们探讨了一些细节的概念，算法的稳定性作为一个可行的框架，分析学习算法的泛化误差。我们引入了新的概念，训练稳定性的学习算法，并表明，在一般情况下，这是足够的良好的界泛化误差。在PAC设置中，训练稳定性对于可学习性来说既是必要的，也是充分的。该方法基于训练稳定性，不需要考虑VC维数和VC熵。该方法不需要证明一致收敛性，并且泛化误差直接由一个推广的McDiarmid不等式来确定.因此，它潜在地允许我们处理比经验风险最小化更广泛的一类学习算法。我们还探讨了VC维数、泛化误差和各种稳定性概念之间的关系。学习算法的几个例子被认为是。
2012-12-12 cs.LG stat.ML
Generalization error bounds for kernel matrix completion and extrapolation
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工）；University of Minnesota（明尼苏达大学）
先验信息可以被合并到矩阵补全中，以提高估计精度并外推缺失的条目。再生核希尔伯特空间提供了利用所述先验信息的工具，并且导出更可靠的算法。本文分析了这种方法的推广误差，并给出了数值试验证实了理论结果。
2019-06-20 cs.LG stat.ML
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）；Microsoft Research, Asia（微软研究院亚洲研究院（微软亚洲研究院））
深度学习的成功使得人们对随机梯度下降（SGD）方法的推广特性越来越感兴趣，稳定性是研究SGD方法的一种常用方法，已有的基于稳定性的研究工作研究了非凸损失函数，但只考虑了SGD方法的推广误差。在本文中，我们建立了各种推广误差界的概率保证的SGD。具体来说，对于一般的非凸损失函数和梯度主导损失函数，我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后，我们研究了具有强凸正则化的正则化风险最小化问题，得到了改进的推广误差界。利用强凸正则化子，我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界，即，概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
Class-wise Generalization Error: an Information-Theoretic Analysis
Tampere University（坦佩雷大学）；University of Florida（佛罗里达大学）
针对现有泛化理论无法捕捉不同类别间泛化差异的问题，本文提出类别泛化误差的信息论界限，利用KL散度和条件互信息推导出更紧且易估计的界限，并在神经网络中验证了其有效性及广泛适用性。
2024-01-05 cs.LG stat.ML
A Generalization Error Bound for Multi-class Domain Generalization
Microsoft AI & Research（微软人工智能与研究院）；Southern University of Science and Technology（南方科技大学）；Microsoft Search, Assistant & Intelligence（微软搜索、助理与智能事业部）；University of Michigan（密歇根大学）
领域泛化是指在给定多个相似的数据集的情况下，为一个未标记的数据集分配标签的问题。尽管在过去的十年中，这个问题有相当大的兴趣，一直没有在多类分类设置的理论分析。在这项工作中，我们研究了一个基于核的学习算法，并建立了一个泛化误差界，该误差界在类的数量上按比例缩放，与传统学习环境中多类分类的最新界相匹配。我们还证明了经验，该算法实现了显着的性能增益相比，池化策略。
2019-05-24 cs.LG stat.ML
In almost all shallow analytic neural network optimization landscapes, efficient minimizers have strongly convex neighborhoods
University of Mannheim（曼海姆大学）；University of Münster（明斯特大学）
本文分析浅层解析神经网络回归问题的优化景观，发现有效域上几乎所有回归问题的局部极小值均具强凸邻域（优化景观为莫尔斯函数），而冗余域维度更小且局部极小值不孤立。
2025-04-11 cs.LG math.PR stat.ML
Higher Order Generalization Error for First Order Discretization of Langevin Diffusion
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Borealis AI（Borealis人工智能公司）；LG Toronto AI Lab（LG多伦多人工智能实验室）
我们提出了一种新的方法来分析推广误差的离散朗之万扩散，如随机梯度朗之万动力学（SGLD）。对于预期泛化误差的$ε$容限，已知如果我们用$Ω(ε^{-1})$样本运行$Ω(ε^{-1} \log (ε^{-1}) )$迭代，则一阶离散化可以达到该目标。在这篇文章中，我们将证明，在附加平滑性假设的情况下，即使是一阶方法也可以实现任意的运行时复杂度。更准确地说，对于每个$N>0$，我们提供了一个充分的平滑条件的损失函数，使得一阶离散化可以达到$ε$预期的泛化误差给定$Ω( ε^{-1/N} \log (ε^{-1}) )$迭代与$Ω(ε^{-1})$样本。
2021-02-11 cs.LG stat.ML
Overparameterization and generalization error: weighted trigonometric interpolation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；RWTH Aachen University（亚琛工业大学）
受超参数化场景中学习后的深度神经网络令人惊讶的良好泛化特性以及相关的双下降现象的启发，本文分析了超参数化线性学习问题中平滑度与低泛化误差之间的关系。我们研究了一个随机傅里叶级数模型，其中的任务是从等距样本估计未知的傅里叶系数。我们推导出精确表达式的泛化误差的平原和加权最小二乘估计。我们精确地展示了如何偏向光滑插值，在加权三角插值的形式，可以导致较小的泛化误差在overparameterized政权相比，underparameterized政权。这提供了对过度参数化的力量的洞察，这在现代机器学习中很常见。
2021-10-27 cs.LG math.OC stat.ML
Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
确定监督学习算法的泛化误差是学习理论中的一个重要问题，人们已经提出了各种方法。然而，现有的界限往往是松散的，缺乏保障。因此，它们可能无法表征学习算法的精确泛化能力。我们的主要贡献是一个精确的表征的预期泛化误差的著名的吉布斯算法在输入训练样本和输出假设之间的对称KL信息。该结果可用于收紧已有的期望泛化误差界。我们的分析提供了更多的洞察力的基本作用的对称KL信息控制的泛化误差的吉布斯算法。
2021-07-28 cs.IT cs.LG math.IT
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了浅侵略解码（SAD），以提高即时语法错误纠正（GEC）的Transformer的在线推理效率。SAD通过两个创新优化了GEC的在线推理效率：1）它并行地积极解码尽可能多的令牌，而不是总是在每个步骤中仅解码一个令牌，以提高计算并行性; 2）它使用浅解码器而不是具有平衡的编码器-解码器深度的传统Transformer架构，以降低推理期间的计算成本。在中英文GEC基准测试中的实验表明，积极解码可以产生与贪心解码相同的预测，但具有显着的在线推理速度。它与浅层解码器的结合可以在不损失质量的情况下提供比强大的Transformer基线更高的在线推理加速。我们的方法不仅允许单个模型在英语GEC基准测试中实现最先进的结果：CoNLL-14中的66.4 F0.5和ESTA-19测试集中的72.9 F0.5，在线推理速度比Transformer-big模型快近10倍，而且它很容易适应其他语言。我们的代码可在https://github.com/AutoTemp/Shallow-Aggressive-Decoding上获得。
2021-06-09 cs.CL cs.LG
Convex losses and their applications to SVM, SVR, and Shallow Neural Networks
DAIS
该研究提出多种适用于SVM和神经网络的新型凸损失函数，结合粒子群优化算法求解原始SVM问题，经嵌套交叉验证实验，发现新型损失函数对部分数据集的泛化性能无显著影响。
2026-09-21 cs.LG
Soft Contamination Means Benchmarks Test Shallow Generalization
Arb Research（Arb研究）；Charles University, Prague（查尔斯大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
研究发现训练数据中存在语义重复污染，导致基准测试性能提升可能反映真实能力提升和测试数据积累的综合作用。
2026-11-10 cs.AI cs.LG
Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level
RJ Research Consulting（RJ研究咨询公司）；Rutgers University（罗格斯大学）
本文报告了我们早期的工作（2015年），浅字级卷积神经网络（CNN）在Conneau等人（2016年）中用于测试非常深的字符级CNN的具有相对较大训练数据的八个数据集上的性能。我们的调查结果如下。浅字级CNN实现了比Conneau等人报道的出错率更好的出错率，尽管由于Conneau等人的独特预处理，结果应该在某种程度上进行解释。浅单词级CNN使用更多的参数，因此比深字符级CNN需要更多的存储;然而，浅单词级CNN计算得快得多。
2016-08-31 cs.CL cs.LG stat.ML
Mixture of Scope Experts at Test: Generalizing Deeper Graph Neural Networks with Shallow Variants
University of Southern California（南加州大学）；DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室）
针对异质性图中深层GNN泛化偏好随节点同质性水平变化的问题，提出测试时范围专家混合（Moscat）方法，通过结合不同深度GNN的优势，在保持表达能力的同时显著提升多种GNN在广泛数据集上的准确率。
2025-11-12 cs.LG cs.SI
Error bounds for approximations with deep ReLU networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
我们研究了具有分段线性激活函数的浅层和深层神经网络的表达能力。我们建立了新的严格的上限和下限的网络复杂性的设置在Sobolev空间中的近似。特别是，我们证明了深度ReLU网络比浅层网络更有效地逼近光滑函数。在1D Lipschitz函数近似的情况下，我们描述了自适应深度6网络架构比标准浅层架构更有效。
2017-05-01 cs.LG cs.NE
Neural networks: deep, shallow, or in between?
本文证明，在Banach空间中，仅当神经网络深度趋于无穷时才能获得优于熵数速率的逼近误差下界，固定深度增加宽度无益。
2023-10-11 cs.LG cs.NA math.NA
Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
School of Mathematical Sciences Fudan University（复旦大学数学学院）；School of Mathematical Sciences Institute of Natural Sciences and MOE-LSC Shanghai Jiao Tong University（上海交通大学数学学院、自然科学研究院和教育部低维量子体系科学重点实验室）；School of Mathematical Sciences Shanghai Key Laboratory for Contemporary Applied Mathematics Fudan University（复旦大学上海当代应用数学重点实验室数学学院）
本文研究浅层ReLU$^s$网络在$L^p$型空间和Sobolev空间中的逼近能力，并通过$\ell_1$路径范数控制实现非参数回归的极小化最优泛化误差。
2026-05-25 cs.LG stat.ML
Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of Modulated Cross-Entropy in Natural Language Inference
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
没有完美的数据集。在一些数据集中，深度神经网络发现了底层的学习算法，这些算法允许它们在学习过程中走捷径，从而导致泛化能力差。而不是使用标准的交叉熵，我们探讨是否调制版本的交叉熵称为焦点损失可以约束模型，以便不使用统计学和提高泛化性能。我们在自然语言推理中的实验表明，焦点丢失对学习过程具有正则化影响，提高了分布外数据的准确性，但略微降低了分布内数据的性能。尽管改进的分布外的性能，我们证明了缺点的焦点损失和它的劣势相比，如无偏的焦点损失和自去偏合奏的方法的性能。
2022-11-23 cs.CL cs.LG
Hierarchical Transfer Convolutional Neural Networks for Image Classification
Prairie View A&M University, Texas A&M University System（德克萨斯农工大学系统普雷里维尤农工大学）
在本文中，我们解决的问题，如何提高卷积神经网络（CNN）的泛化性能在早期学习阶段的图像分类。这是由于实时应用需要CNN的泛化性能在有限的训练时间内令人满意。为了实现这一点，提出了一种新的分层传输CNN框架。它由一组浅CNN和一个云CNN组成，其中首先训练浅CNN，然后使用训练好的浅CNN的第一层来初始化云CNN的第一层。这种方法将显著提高云CNN的泛化性能，特别是在训练的早期阶段。使用CIFAR-10和ImageNet数据集进行实验，以检验所提出的方法。结果表明，在学习的早期阶段，CIFAR-10的测试准确率平均提高了12%，高达20%，而ImageNet的测试准确率提高了5%。它还表明，测试精度的普遍改善，获得了不同的设置的辍学和数量的浅CNN。
2018-05-09 cs.CV cs.LG stat.ML
Physics-informed ConvNet: Learning Physical Field from a Shallow Neural Network
Xi'an University of Architecture and Technology（西安建筑科技大学）；Xidian University（西安电子科技大学）
基于大数据的人工智能（AI）支持几乎所有科学和技术的深刻演变。然而，由于不可避免的数据稀缺和噪声，建模和预测多物理系统仍然是一个挑战。通过“教授”领域知识来提高神经网络的泛化能力，并结合物理规律开发新一代模型，已成为机器学习研究的一个很有前途的领域。与“深”的嵌入物理信息的全连接神经网络（PINN）不同，从CNN的角度提出了一种新的浅层物理信息卷积网络（PICN）框架，其中物理场由一个去卷积层和一个卷积层生成.使用预训练的浅卷积层来构造形成物理算子的差场。一个有效的线性插值网络计算的损失函数涉及边界条件和物理约束的不规则的几何域。目前的发展的有效性说明通过一些数值的情况下，涉及非线性物理算子方程的求解（和估计）和恢复的物理信息从噪声观测。PICN在逼近具有多频率分量的物理场方面的潜在优势表明，PICN可能成为物理信息机器学习中的另一种神经网络求解器。
2022-02-07 cs.LG cs.NA math.NA
Limitations on approximation by deep and shallow neural networks
证明了关于深、浅神经网络逼近紧集K的误差的Carl型不等式。这反过来又给出了当要求近似值来自这样的网络的输出时，我们可以近似K中的函数的下限。我们的结果是作为最近推出的Lipschitz宽度的研究的副产品。
2022-11-30 cs.LG math.FA stat.ML
Deep Grokking: Would Deep Neural Networks Generalize Better?
EPFL（洛桑联邦理工学院）；Google Deepmind（谷歌DeepMind）
本研究探索深度神经网络中的grokking现象，发现深度网络更易出现该现象并伴随多阶段泛化，揭示了特征秩下降与泛化相变的对应关系，表明特征秩是比权重范数更优的泛化指标。
2024-05-29 cs.LG stat.ML
Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data
New York University Shanghai（上海纽约大学）；New York University（纽约大学）
本文研究浅层ReLU网络中的神经坍缩，给出两层和三层网络发生NC的条件，并揭示泛化取决于数据信噪比而非仅取决于NC。
2024-09-06 cs.LG stat.ML
A third-order finite difference weighted essentially non-oscillatory scheme with shallow neural network
Pohang University of Science and Technology（浦项科技大学）；Jimei University（集美大学）
针对双曲守恒律数值求解问题，提出结合浅层神经网络的三阶WENO格式，通过含双分量的监督学习损失函数保证格式性质与间断性能，数值实验验证其优于传统WENO3-JS和WENO3-Z格式。
2024-07-10 cs.LG cs.NA cs.NE
A categorical embedding discontinuity-capturing shallow neural network for anisotropic elliptic interface problems
Department of Mathematics, National Central University（数学系，国立中央大学）；Department of Applied Mathematics, National Yang Ming Chiao Tung University（应用数学系，国立阳明交通大学）；Department of Applied Mathematics, National University of Kaohsiung（应用数学系，国立高雄大学）
提出含间断捕捉、分类嵌入和全连接三层的浅层无网格神经网络，自动学习间断嵌入以高精度逼近数十至数百段的分段连续解，并在各向异性椭圆界面问题上达到与传统网格方法相当的精度与效率。
2025-09-27 cs.LG cs.NA math.NA
Shallow Neural Network can Perfectly Classify an Object following Separable Probability Distribution
KAIST（韩国科学技术院）
指导神经网络的设计对于节省大量的建筑参数经验决策资源具有重要意义。本文构造了一种浅层S型神经网络，该网络对线性可分性条件下的数据集实现了100%的分类准确率。在这项工作中的可分性条件比广泛使用的线性可分性更宽松。此外，构造的神经网络保证完美的分类从一个可分离的概率分布采样的任何数据集。这种泛化能力来自于sigmoid函数的饱和，它利用了可分离概率分布形成的区间边界附近的小余量。
2019-04-19 cs.IT cs.LG math.IT
Optimal Approximation of Zonoids and Uniform Approximation by Shallow Neural Networks
Texas A&M University（德克萨斯农工大学）
该研究解决了d=2、3维下zonoid用n条线段和的Hausdorff逼近的对数阶差距问题，并将相关技术用于提升浅层ReLU^k网络在变差空间的一致逼近率，实现函数及其导数的一致逼近。
2025-03-24 cs.LG cs.NA math.NA
Large Language and Reasoning Models are Shallow Disjunctive Reasoners
Cardiff University（卡迪夫大学）
本文通过定性时空推理任务研究大型推理模型的分布外泛化能力，发现零样本LRMs仅在单路径推理中优于LLMs，在多路径设置下均表现不佳，并揭示其本质是浅层析取推理器。
2025-06-02 cs.AI cs.CL cs.LG
Doppler Invariant Demodulation for Shallow Water Acoustic Communications Using Deep Belief Networks
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；Thales Solutions Asia Pte Ltd（泰雷兹亚洲解决方案私人有限公司）
浅水环境为通信创造了具有挑战性的通道。在本文中，我们专注于所带来的挑战的频率选择性信号失真称为多普勒效应。本文研究了基于机器学习（ML）的浅海水声通信（SWAC）物理层解调方法--（1）深度置信网络-前馈神经网络（DBN-NN）和（2）深度置信网络-卷积神经网络（DBN-CNN）的设计和性能。所提出的方法包括基于ML的特征提取方法和分类技术。首先，特征提取将接收到的信号转换为特征图像。接下来，分类模型将图像与对应的二进制表示相关联。基于ML的解调分析表明，尽管存在瞬时频率，该算法的性能表现出一个小的误比特率（BER）方面的2dB的误差容限的不变性。
2019-09-05 cs.LG cs.SD eess.SP
Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform
本文利用Radon变换和差异理论，证明了浅层ReLU$^k$网络在Sobolev空间上达到近乎最优的逼近率，并推广了现有结果，揭示了其适应性带来的优势。
2025-10-16 cs.LG cs.NA math.NA
An Additive Autoencoder for Dimension Estimation
University of Jyväskylä（于韦斯屈莱大学）
提出并分析了一种用于降维的加性自编码器，该编码器由一系列的偏差估计、线性趋势估计和非线性残差估计组成。计算实验证实，这种形式的自动编码器，只有一个浅网络封装的非线性行为，能够识别一个固有的尺寸的数据集具有低的自动编码误差。这一观察导致了一项调查，其中比较了浅层和深层网络结构以及它们是如何训练的。我们的结论是，更深的网络结构获得较低的自编码错误在识别的内在维度。然而，与浅网络相比，检测到的维度不会改变。
2022-10-13 cs.AI cs.LG
Generalization ability and Vulnerabilities to adversarial perturbations: Two sides of the same coin
Pacific Northwest National Laboratory（太平洋西北国家实验室）；School of Neuroscience（神经科学学院）；Virginia Tech（弗吉尼亚理工大学）
本研究使用自组织映射（SOM）分析深度神经网络的内部决策代码，发现浅层生成同质代码而深层将其转化为多样代码，并指出这种同质代码是导致网络易受对抗扰动攻击的根源。
2024-11-18 cs.LG
Enhanced Image Classification With a Fast-Learning Shallow Convolutional Neural Network
University of South Australia（南澳大学）；Institute for Telecommunications Research（电信研究所）；School of Information Technology and Mathematical Sciences（信息技术与数学科学学院）
我们提出了一个神经网络的架构和训练方法，旨在使非常快速的训练和低实现复杂性。由于其训练速度和很少的可调参数，该方法具有很强的潜力，需要频繁的再训练或在线训练的应用程序。该方法的特征在于（a）基于生物启发的视觉处理滤波器的卷积滤波器，（b）随机值的分类器级输入权重，（c）使用最小二乘回归来训练单个批次中的分类器输出权重，以及（d）线性分类器级输出单元。我们证明了该方法的有效性，将其应用到图像分类。我们的结果与MNIST（0.37%误差）和NORB-small（2.2%误差）图像分类数据库的现有最先进结果相匹配，但与标准深度网络方法相比，训练时间非常快。该网络在谷歌街景门牌号（SVHN）数据库上的性能（4%错误）也与最先进的方法相媲美。
2015-08-15 cs.CV cs.LG cs.NE
