Non-Vacuous Generalisation Bounds for Shallow Neural Networks
University College London(伦敦大学学院);Inria(法国国家信息与自动化研究所)
我们专注于一类特定的浅神经网络与一个单一的隐藏层,即那些与$L_2$规范化的数据和S形高斯误差函数(“erf”)激活或高斯误差线性单元(GELU)激活。对于这些网络,我们通过PAC-贝叶斯理论得到新的泛化边界;与大多数现有的此类边界不同,它们适用于具有确定性参数而不是随机参数的神经网络。当网络在MNIST和Fashion-MNIST上使用香草随机梯度下降进行训练时,我们的边界是经验非空的。
2022-06-15 cs.LG stat.ML
Downbeat Tracking with Tempo-Invariant Convolutional Neural Networks
Apple Inc.(苹果公司)
人类追踪音乐重拍的能力对节奏的变化是稳健的,并且它延伸到以前从未遇到过的节奏。我们提出了一种确定性的时间扭曲操作,通过允许网络独立于节奏学习节奏模式,在卷积神经网络(CNN)中实现这种技能。与传统的深度学习方法不同,传统的深度学习方法在训练数据集中学习节奏模式,在我们的模型中学习的模式是节奏不变的,从而更好地概括节奏,更有效地利用网络容量。我们在一个合成数据集上测试泛化属性,该合成数据集是通过使用FluidSynth渲染Groove Rounds Dataset创建的,分为一个包含原始性能的训练集和一个包含使用不同SoundFonts渲染的节奏缩放版本的测试集(测试时增强)。所提出的模型几乎完美地推广到看不见的tempi(训练集和测试集的F测量值均为0.89),而可比较的传统CNN仅在训练集(0.89)上实现了类似的准确性,并在测试集上下降到0.54。所提出的模型的泛化优势扩展到真正的音乐,如GTZAN和舞厅数据集的结果所示。
2021-02-03 cs.LG cs.MM cs.SD
Comparing recurrent and convolutional neural networks for predicting wave propagation
Imperial College London(帝国理工学院);The University of Edinburgh(爱丁堡大学)
动力系统可以用偏微分方程来建模,数值计算在科学和工程中无处不在。在这项工作中,我们研究了递归和卷积深度神经网络架构预测表面波的性能。该系统由圣维南方程控制。我们改进了以前的方法的长期预测,同时保持推理时间在一小部分的数值模拟。我们还表明,卷积网络在这项任务中的表现至少与递归网络一样好。最后,我们通过在较长的时间范围内和不同的物理环境中进行外推来评估每个网络的泛化能力。
2020-04-20 cs.CV cs.LG stat.ML
How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks
University of Liverpool(利物浦大学);State Key Laboratory of Computer Science, Institute of Software, CAS(中国科学院软件研究所计算机科学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Intellegence Software, Guangzhou(广州智能软件研究所)
本文研究了深度神经网络中权重相关性的新概念,并讨论了其对网络泛化能力的影响。对于全连接层,权重相关性被定义为神经元权重向量之间的平均余弦相似性,对于卷积层,权重相关性被定义为滤波器矩阵之间的余弦相似性。从理论上讲,我们表明,权重相关性可以,而且应该,被纳入到PAC贝叶斯框架的泛化的神经网络,由此产生的泛化界是单调的权重相关性。我们制定了一个新的复杂性的措施,提升PAC贝叶斯测量与权重相关性,并通过实验证实,它是能够排名的泛化错误的一组网络比现有的措施更精确。更重要的是,我们开发了一种新的正则化器用于训练,并提供了大量的实验,表明我们的新方法可以大大减少泛化误差。
2020-10-17 cs.AI cs.LG
Channel Normalization in Convolutional Neural Network avoids Vanishing Gradients
Rice University(莱斯大学);Technical University of Munich(慕尼黑工业大学)
规范化层广泛用于深度神经网络以稳定训练。在本文中,我们考虑在单个训练样本上用梯度下降训练卷积神经网络。这种优化问题出现在最近的解决逆问题的方法中,例如深度图像先验或深度解码器。我们表明,对于这种设置,通道归一化,中心和归一化每个通道单独,避免消失的梯度,而如果没有归一化,梯度消失,从而防止有效的优化。这种效应在深度单通道线性卷积网络中普遍存在,我们证明了在没有通道归一化的情况下,梯度下降至少需要指数级的许多步骤才能接近最佳值。相反,使用通道归一化,梯度保持有界,从而避免梯度爆炸。
2019-07-22 cs.LG stat.ML
Distance-Based Regularisation of Deep Networks for Fine-Tuning
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
我们研究深度神经网络微调过程中的正则化方法。首先,我们提供了一个基于拉德马赫复杂度的神经网络泛化边界,该复杂度使用权重从其初始值移动的距离。这个界限与权重的数量没有直接的依赖关系,并且当应用于卷积网络时,与其他界限相比是有利的。我们的界限与微调高度相关,因为提供一个基于迁移学习的良好初始化网络意味着学习可以更少地修改权重,从而实现更紧密的泛化。受此启发,我们开发了一种简单而有效的微调算法,该算法将假设类限制在以初始预训练权重为中心的小范围内,从而获得比传统迁移学习更好的泛化性能。实验结果表明,该算法具有较好的性能,验证了理论分析的正确性。它优于最先进的微调竞争对手,和基于惩罚的替代方案,我们表明不直接约束搜索空间的半径。
2021-01-15 cs.LG stat.ML
Convolutional Normalization
随着深度神经网络被应用于复杂任务,网络和架构的规模增加,其拓扑结构也变得更加复杂。与此同时,培训变得缓慢,在某些情况下效率低下。这促使了各种规格化技术的引入,例如批量归一化和层归一化。上述归一化方法使用算术运算来计算层数据的近似统计量(主要是一阶矩和二阶矩)并使用其来归一化。上述方法使用普通蒙特卡罗方法来近似统计量,并且这种方法在近似分布复杂的统计量时失败。在这里,我们提出了一种使用加权和的方法,该方法使用深度方向的卷积神经网络来实现,不仅可以近似统计数据,还可以学习和的系数。
2021-02-19 cs.LG stat.ML
A Frobenius norm regularization method for convolutional kernels to avoid unstable gradient problem
China University of Geosciences(中国地质大学)
卷积神经网络是深度学习的一个非常重要的模型。在训练过程中,如果层的雅可比矩阵的奇异值围绕$1$有界,可以避免梯度爆炸/消失问题,提高神经网络的泛化能力。我们提出了一个新的惩罚函数的卷积核,让相应的变换矩阵的奇异值是有界的$1$。我们展示了如何进行梯度型方法。惩罚是关于对应于卷积核的结构化变换矩阵。这提供了一种关于卷积层权重的新正则化方法。
2019-07-25 cs.LG stat.ML
On progressive sharpening, flat minima and generalisation
Mathematical Institute for Data Science(数据科学数学研究所);Johns Hopkins University(约翰斯·霍普金斯大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
本文通过联系损失 Hessian 与输入-输出 Jacobian 的拟设,证明 Jacobian 对 Lipschitz 范数的近似及新泛化界,用以解释渐进锐化和平坦极小值的泛化。
2023-09-26 cs.LG stat.ML
The Impact of Activation Sparsity on Overfitting in Convolutional Neural Networks
University of Muenster(明斯特大学)
过拟合是训练卷积神经网络时的基本挑战之一,通常通过发散的训练和测试损失来识别。然而,激活流如何诱导过拟合的潜在动力学却知之甚少。在这项研究中,我们引入了一个基于困惑的稀疏定义,推导和可视化逐层激活措施。这些新的可解释的AI策略揭示了激活稀疏性和过拟合之间令人惊讶的关系,即在测试损失开始上升之前不久,特征提取层中稀疏性的增加。这种趋势在整个网络架构和reguralisation策略中得到保留,因此我们的措施可以用作过拟合的可靠指标,同时将网络的泛化能力与其基于损失的定义解耦。此外,我们的可微稀疏性公式可用于明确惩罚训练过程中稀疏性的出现,以便实时研究稀疏性降低对过拟合的影响。应用这种惩罚和分析激活稀疏性为众所周知的正则和常见的网络架构支持的假设,减少激活稀疏性可以有效地提高泛化和分类性能。与最近关于这一主题的其他工作一致,我们的方法揭示了对激活稀疏性和网络容量的矛盾概念的新见解,通过证明密集激活可以实现区分性特征学习,同时有效地利用深度模型的能力,而不会受到过度拟合的影响,即使在过度训练时也是如此。
2021-04-13 cs.LG
Flatness is a False Friend
Oxford(牛津大学)
海森为基础的措施的平坦度,如跟踪,弗罗贝纽斯和频谱规范,已被认为是,使用和显示有关的推广。在本文中,我们证明了在交叉熵损失下的前馈神经网络,我们期望具有大权重的低损失解具有小的基于Hessian的平坦性度量。这意味着使用$L2$正则化得到的解原则上应该比没有正则化得到的解更尖锐,尽管推广得更好。我们在MNIST和CIFAR- $100$数据集上证明了逻辑斯谛回归,多层感知器,简单卷积,预激活和宽残差网络都是如此。此外,我们表明,对于自适应优化算法,使用平均值,在VGG- $16$网络和CIFAR- $100$数据集上,实现优于SGD的泛化,但$30 \times$更清晰。这一理论发现,以及实验结果,提出了严重的问题,海森的锐度措施的有效性在讨论的泛化。我们进一步证明了Hessian秩可以由常数乘以神经元数乘以类数来限制,实际上这通常是网络参数的一小部分。这就解释了奇怪的观察,许多海森特征值要么是零或非常接近零,这已在文献中报道。
2020-06-16 cs.LG stat.ML
Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm
University of California, Berkeley(加州大学伯克利分校);CipherMode Labs(CipherMode实验室);Microsoft Research(微软研究院)
我们提供了一个函数空间表征的归纳偏差,从最小化$\ell_2$范数的权重在多通道卷积神经网络与线性激活和经验测试我们的假设使用梯度下降训练的ReLU网络。我们在函数空间中定义了一个诱导正则化子作为实现一个函数所需的网络权值的最小$\ell_2$范数。对于具有$C$输出通道和核大小$K$的两层线性卷积网络,我们证明了以下内容:(a)如果网络的输入是单通道的,则任何$K$的诱导正则化子与输出通道的数量无关$C$。进一步,我们得到正则化子是由半定规划(SDP)给出的范数。(b)相比之下,对于多通道输入,可能需要多个输出通道来仅实现所有矩阵值线性函数,因此感应偏置确实取决于$C$。然而,对于足够大的$C$,诱导正则化子再次由独立于$C$的SDP给出。特别地,$K=1$和$K=D$(输入维数)的诱导正则化子以封闭形式给出,分别作为线性预测器的傅立叶系数的核范数和$\ell_{2,1}$组稀疏范数。我们通过在MNIST和CIFAR-10数据集上的实验,研究了我们的理论结果对线性和ReLU网络上的梯度下降隐式正则化的更广泛适用性。
2022-07-11 cs.LG stat.ML
Stability & Generalisation of Gradient Descent for Shallow Neural Networks without the Neural Tangent Kernel
University of Oxford(牛津大学);DeepMind
我们重新审视GD训练overparameterized浅神经网络的平均算法稳定性,并证明了新的泛化和超额风险的界限,没有NTK或PL假设。特别是,我们显示预言型界限,揭示了GD的泛化和超额风险是由一个插值网络控制的最短GD路径从初始化(在某种意义上说,插值网络的最小相对范数)。虽然这对于核化插值是已知的,但我们的证明直接适用于GD训练的网络,而无需中间核化。同时,通过放松这里开发的预言不等式,我们恢复现有的NTK为基础的风险界限,在一个简单的方式,这表明我们的分析更紧密。最后,与大多数基于NTK的分析不同,我们专注于带有标签噪声的回归,并表明GD与早期停止是一致的。
2021-11-09 cs.LG math.ST stat.ML
Dynamic Time Warp Convolutional Networks
在处理时间序列的情况下,可以公平地假设,促使动态时间扭曲算法开发的相同类型的变形也可以在1-D卷积层中的点积(“卷积”)的计算中相关。在这项工作中,提出了一种方法,用于调整卷积滤波器和输入,其中它们是本地的相位利用类似于动态时间扭曲的算法。所提出的方法能够嵌入时间序列的非参数扭曲,以直接在深度网络中增加相似性,并且可以扩展标准1-D卷积层的泛化能力和容量,其中输入中存在局部顺序变形。实验结果表明,所提出的方法超过或匹配的标准1-D卷积层的最大精度达到了一些时间序列分类任务。此外,不同的超参数设置的影响进行了研究,给出了不同的数据集和结果支持以前的工作所做的DTW参数值的选择有关的结论。所提出的层可以与其他典型层自由集成,以组成使用标准随机梯度下降训练的任意架构的深度人工神经网络。
2019-11-05 cs.LG stat.ML
Striding Across Reynolds Numbers: Representation Geometry in Neural PDE Generalisation
London School of Economics and Political Science(伦敦政治经济学院)
通过分析神经PDE求解器在跨雷诺数泛化中的表示几何,发现基于卷积自编码器的匹配方法(ConvAE-Relay)在无需目标域数据的情况下达到38.34%误差,揭示了局部多尺度表示对跨雷诺数迁移的关键作用。
2026-05-28 cs.LG
Graph Convolutional Neural Networks as Parametric CoKleisli morphisms
我们定义了图卷积神经网络的双范畴$\mathbf{GCNN}_n$,它适用于具有$n$节点的任意图。我们证明了它可以通过已经存在的用于深度学习的分类结构来分解,称为$\mathbf{Para}$和$\mathbf{Lens}$,其基本类别设置为产品comonad的CoKleisli类别。我们证明了存在一个注入对象,忠实的2-函子$\mathbf{GCNN}_n \to \mathbf{Para}(\mathsf{CoKl}(\mathbb{R}^{n \times n} \times -))$。我们表明,这种构造允许我们将GCNN的邻接矩阵视为全局参数,而不是局部的逐层参数。这为我们提供了GCNN所拥有的一种特定类型的归纳偏差的高级分类特征。最后,我们假设GCNN可能推广到一般的消息传递图神经网络,连接到等变学习,以及激活函数的功能性(缺乏)。
2022-12-01 cs.LG math.CT
Generalization Bounds for Convolutional Neural Networks
University of Sydney(悉尼大学)
卷积神经网络(CNN)在图像分类、语义分割和目标检测等广泛应用中取得了突破性的性能。以往表征神经网络泛化能力的研究大多集中在全连接神经网络(FNN)上,将CNN视为FNN的特例,而没有考虑卷积层的特殊结构。在这项工作中,我们提出了一个更严格的泛化界CNN利用其权重矩阵的稀疏和置换结构。由于泛化界依赖于权矩阵的谱范数,本文进一步研究了标准卷积、深度卷积和逐点卷积三种常用卷积运算的谱范数。理论和实验结果都表明,我们的CNN的界限比现有的界限更紧。
2019-10-03 cs.LG stat.ML
Genre-Agnostic Key Classification With Convolutional Neural Networks
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所)
我们建议修改的模型结构和训练过程,最近推出的卷积神经网络的音乐键分类。这些修改使网络能够学习一个与流派无关的模型,该模型的性能优于为特定音乐风格训练的模型,而现有的工作并非如此。我们分析了三个数据集,包括不同的流派的概括能力。然后,我们评估了一些看不见的数据集上的模型,并显示其优越的性能相比,最后,我们调查了模型的性能短摘录的音频。从这些实验中,我们得出结论,模型需要考虑整个作品的谐波一致性时,分类的局部关键的短段音频。
2018-08-16 cs.LG cs.SD eess.AS
Convolutional Deep Kernel Machines
School of Mathematics(数学学院);University of Bristol(布里斯托大学);Department of Computer Science(计算机科学系)
本文提出卷积深度核机器,通过域间诱导点近似及批归一化类比等技术扩展 DKM 至卷积结构,在 CIFAR-10 等数据集上取得核方法最优性能。
2024-02-26 cs.LG stat.ML
lpNTK: Better Generalisation with Less Data via Sample Interaction During Learning
University of Edinburgh(爱丁堡大学);University of British Columbia(不列颠哥伦比亚大学)
本研究聚焦训练数据对人工神经网络泛化的影响,提出纳入标签信息的lpNTK度量样本交互,证明其渐近收敛于经验神经切线核,可解释学习现象且用于移除投毒样本不损害泛化性能。
2024-05-14 cs.LG
Memorisation, convergence and generalisation in generative models
INRIA Paris & DI ENS, PSL University, Paris, France(巴黎国家信息与自动化研究所(INRIA)及巴黎高等师范学院(ENS)与巴黎大学(PSL University));International School of Advanced Studies (SISSA), Trieste, Italy(意大利国际高级研究学院(SISSA))
本文研究了生成模型中记忆、收敛和泛化的区别,通过线性生成模型的分析,发现当样本数与输入维度成线性关系时,模型会从记忆过渡到泛化,并揭示了泛化包含两个不同目标:匹配数据分布的主体和恢复数据的主潜在因素。
2026-05-20 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解,并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
Generalisation in humans and deep neural networks
University of Tübingen(蒂宾根大学);Centre for Integrative Neuroscience, University of Tübingen(蒂宾根大学整合神经科学中心);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究院);Graduate School of Neural and Behavioural Sciences, University of Tübingen(蒂宾根大学神经与行为科学研究生院);University of Potsdam(波茨坦大学);Bernstein Center for Computational Neuroscience Tübingen(蒂宾根伯恩斯坦计算神经科学中心);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们比较了人类和当前卷积深度神经网络(DNN)在12种不同类型的图像退化下对对象识别的鲁棒性。首先,使用三个众所周知的DNN(ResNet-152,VGG-19,GoogLeNet),我们发现人类视觉系统对几乎所有测试的图像操作都更鲁棒,并且当信号变弱时,我们观察到人类和DNN之间逐渐发散的分类错误模式。其次,我们表明,直接在失真图像上训练的DNN在训练的确切失真类型上始终优于人类的表现,但在其他失真类型上测试时,它们的泛化能力非常差。例如,在椒盐噪声上训练并不意味着对均匀白噪声的鲁棒性,反之亦然。因此,训练和测试之间噪声分布的变化对深度学习视觉系统构成了至关重要的挑战,可以通过终身机器学习方法系统地解决。我们的新数据集由83 K仔细测量的人类心理物理试验组成,为人类视觉系统设置的图像退化的终身鲁棒性提供了有用的参考。
2020-10-23 cs.AI cs.CV cs.LG
Explaining grokking through circuit efficiency
Google DeepMind(谷歌DeepMind)
本研究提出grokking源于泛化解与记忆解的效率差异,通过四个预测及ungrokking和semi-grokking两种新行为证实了该解释。
2023-09-05 cs.LG
Optimisation & Generalisation in Networks of Neurons
California Institute of Technology(加州理工学院)
本论文的目标是发展人工神经网络学习的优化和泛化理论基础。在优化方面,提出了一种新的理论框架,用于推导依赖于结构的一阶优化算法。该方法通过将损失函数的“功能优化”与对神经结构的显式依赖进行编码的“结构扰动边界”相结合来工作。该框架产生了在学习问题中传递超参数的优化方法。在推广方面,提出了一个新的对应关系网络和个人网络之间的合奏。有人认为,由于网络宽度和标准化的利润是采取大,空间的网络,内插一个特定的训练集集中在一个聚合的贝叶斯方法称为“贝叶斯点机”。这种对应关系为将PAC-贝叶斯推广定理转移到单个网络提供了一条途径。更广泛地说,这些通信为正则化在参数远多于数据的网络中的作用提供了新的视角。
2022-10-18 cs.AI cs.IT cs.LG
Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers
HSE University(高等经济大学)
针对现有卷积层谱范数计算方法高估或性能随尺寸下降的问题,提出与输入分辨率无关、可微且高效的四维卷积核张量谱范数上界,可提升卷积架构性能。
2024-09-18 cs.LG
Kernel Normalized Convolutional Networks
Technical University of Munich(慕尼黑工业大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Imperial College London(伦敦帝国学院)
针对BatchNorm小批量性能差且不适用差分隐私的问题,提出KernelNorm及KNConvNets,在分类和分割任务中兼具批量无关性与优异性能。
2024-03-04 cs.CV cs.LG
A Gaussian Process perspective on Convolutional Neural Networks
Dipartimento di Matematica, Università di Bologna(博洛尼亚大学数学系)
在本文中,我们将众所周知的卷积神经网络投射到高斯过程的角度。通过这种方式,我们希望对卷积网络的性能有更多的了解,特别是了解在什么情况下它们往往表现良好,以及在网络中隐含了什么假设。虽然对于全连接网络,收敛到高斯过程的特性已经被广泛研究,但对于卷积网络的输出接近多元正态分布的情况知之甚少。
2019-01-09 cs.LG stat.ML
Preventing Gradient Attenuation in Lipschitz Constrained Convolutional Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
深度神经网络上L2范数下的Lipschitz约束对于可证明的对抗鲁棒性边界、稳定训练和Wasserstein距离估计是有用的。虽然启发式方法,如梯度惩罚已经看到了很多实际的成功,它是具有挑战性的,以实现类似的实际性能,同时可证明强制执行Lipschitz约束。原则上,人们可以使用Lipschitz函数的复合性质来设计Lipschitz约束架构,但Anil等人最近发现了这种方法的一个关键障碍:梯度范数衰减。他们展示了如何在全连接网络的情况下通过将每一层设计为梯度范数保持来规避这个问题。我们将他们的方法扩展到训练可扩展的,富有表现力的,可证明的Lipschitz卷积网络。特别是,我们提出了块卷积正交参数化(BCOP),正交卷积运算的表达参数化。我们表明,即使空间的正交卷积是断开的,最大的连通分量的BCOP与2n个通道可以表示任意的BCOP卷积在n个通道。我们的BCOP参数化使我们能够训练具有可证明的Lipschitz边界的大型卷积网络。从经验上讲,我们发现它与现有的可证明对抗鲁棒性和Wasserstein距离估计方法具有竞争力。
2019-11-09 cs.LG stat.ML
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而,对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中,我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性,它们对反同态作用的稳定性,以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后,我们描述了相应的再生核希尔伯特空间(RKHS),表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开,并提供模型复杂性的规范度量,即RKHS范数,它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型,我们的稳定性分析也适用于卷积网络与一般的激活,如整流线性单元,我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
On Generalisation Error Bounds for Transformers
School of Mathematics, Statistics and Actuarial Science(数学、统计与精算学院);University of Essex(埃塞克斯大学)
本文为线性函数类建立覆盖数界,结合现有结果推导出单层Transformer的泛化误差界,该界与序列长度无关,以$O(1/\sqrt{n})$速率衰减,并显式纳入秩约束以刻画低秩结构的影响。
2026-09-09 cs.LG math.FA stat.ML
Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference
TU Kaiserslautern(凯泽斯劳滕工业大学);MindGarage;Imperial College London(帝国理工学院);NeuralSpace;Luleå University of Technology(吕勒奥理工大学)
我们介绍了一种新的不确定性估计贝叶斯卷积神经网络与变分推理的分类任务。通过在最后一层对Softplus函数的输出进行归一化,我们以连贯的方式估计任意和认知的不确定性。权重的后验概率分布由Bayes by Backprop推断。首先,我们展示了这种可靠的变分推理方法可以作为各种网络架构的基本构造。在监督学习设置(MNIST,CIFAR-10,CIFAR-100)的多个数据集上,这种变分推理方法在相同的体系结构中实现了与频率论推理相当的性能,而两个必要的,不确定性和正则化的度量自然地结合在一起。其次,我们研究了我们提出的任意性和认知不确定性的度量是如何推导出来的,并在上述数据集上进行了验证。
2019-05-14 cs.CV cs.LG cs.NE
Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training
Center for Data Science, New York University(纽约大学数据科学中心);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Department of EECS, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系);Electrical and Computer Engineering, University of Denver(丹佛大学电气与计算机工程系);Department of EECS, University of Michigan(密歇根大学电气工程与计算机科学系)
归一化技术已经成为现代卷积神经网络(ConvNets)中的基本组成部分。特别是,最近的许多工作表明,促进权重的正交性有助于训练深度模型并提高鲁棒性。对于ConvNets,大多数现有的方法都是基于惩罚或归一化权重矩阵,这些权重矩阵是从连接或平坦卷积核中获得的。这些方法通常会破坏或忽略内核的良性卷积结构;因此,它们对于深度ConvNets来说通常是昂贵或不切实际的。相比之下,我们引入了一种简单有效的“卷积归一化”(ConvNorm)方法,该方法可以充分利用傅立叶域中的卷积结构,并作为一个简单的即插即用模块,方便地集成到任何ConvNet中。我们的方法的灵感来自于最近的工作预处理方法的卷积稀疏编码,可以有效地促进每一层的通道的等距。此外,我们还证明了我们的ConvNorm可以降低权重矩阵的逐层谱范数,从而提高网络的Lipschitz性,从而使深度ConvNets的训练更容易,鲁棒性更高。应用于噪声污染和生成对抗网络(GAN)下的分类,我们证明了ConvNorm提高了ResNet等常见ConvNet的鲁棒性和GAN的性能。我们通过CIFAR和ImageNet上的数值实验验证了我们的发现。
2022-01-04 cs.AI cs.CV cs.LG
Spectral Norm of Convolutional Layers with Circular and Zero Paddings
FOXSTREAM(FOXSTREAM公司);Université Paris-Dauphine(巴黎多芬大学);PSL University(巴黎文理大学);ESPCI PSL(巴黎文理大学物理与化学高等学院)
该研究将适用于循环卷积层的Gram迭代方法推广至零填充卷积层,证明其二次收敛性,提出弥合两类卷积谱范数差距的定理,设计可提升网络鲁棒性的谱重缩放1-Lipschitz层,在多方面性能优于前沿技术。
2024-01-31 cs.CV cs.LG
Variance-Aware Weight Initialization for Point Convolutional Neural Networks
Ulm University(乌尔姆大学);University College London(伦敦大学学院)
合适的权值初始化是成功训练神经网络的关键。最近,批量归一化通过简单地基于批量统计数据对每一层进行归一化来减少权重初始化的作用。不幸的是,当应用于小批量时,批量归一化有几个缺点,因为在点云上学习时需要它们来应对内存限制。虽然有根据的权重初始化策略可以使批量归一化变得不必要,从而避免这些缺点,但对于点卷积网络还没有提出这样的方法。为了填补这一空白,我们提出了一个框架来统一众多的连续卷积。这使得我们的主要贡献,方差感知权重初始化。我们表明,这种初始化可以避免批量归一化,同时实现类似的,在某些情况下,更好的性能。
2022-08-01 cs.CV cs.LG
The importance of stain normalization in colorectal tissue classification with convolutional networks
Radboud University Medical Center(拉德堡德大学医学中心);Laboratorium Pathologie Oost Nederland(东荷兰病理学实验室)
在苏木精和伊红(H & E)染色的组织病理学图像中开发用于分析结直肠癌(CRC)的可靠成像生物标志物需要对图像中的主要组织成分进行准确且可再现的分类。在本文中,我们提出了一个基于卷积网络(ConvNets)的CRC组织分类系统。我们研究了染色归一化在H & E染色图像中CRC组织样本的组织分类中的重要性。此外,我们报告了ConvNets在一组直肠癌样本和一个独立的公开的结直肠H & E图像数据集上的性能。
2017-05-23 cs.CV cs.LG
Impact of Batch Normalization on Convolutional Network Representations
North-West University(西北大学);CAIR(先进智能研究中心);NITheCS(南非国家理论与计算科学研究所);SANSA(南非国家空间局)
本文研究批量归一化(BatchNorm)对卷积网络隐藏表示的影响,发现其对泛化的作用不依赖于表示稀疏性,而在于增强更有利的隐式聚类特征。
2025-02-13 cs.LG
Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets
本文提出多项式过参数化卷积神经网络中存在结构化强彩票彩票票,通过数学工具证明了结构化子网络能近似更小网络,为SLTH提供了亚指数界。
2026-03-10 cs.LG math.CO math.PR
On the impact of using X-ray energy response imagery for object detection via Convolutional Neural Networks
Durham University(杜伦大学)
在复杂和杂乱的X射线安全图像中自动检测违禁物品对于维护运输安全至关重要,其中关于自动违禁物品检测的先前工作主要集中在伪彩色(rgb)X射线图像上。在这项工作中,我们研究了不同X射线图像的影响,即,通过使用深度卷积神经网络(CNN)进行X射线行李安检中提出的联合目标检测和分割任务,将X射线能量响应(高,低})和有效z与rgb进行比较。我们评估了最先进的CNN架构(Mask R-CNN、YOLACT、CARAFE和Cascade Mask R-CNN),以探索在不同的X射线安全扫描仪之间使用这种“原始”变体图像训练的模型的可转移性,这些扫描仪具有不同的成像几何形状、图像分辨率和材料颜色配置文件。总的来说,我们观察到最大的检测性能使用CARAFE,归因于使用RGB,高,低,和有效的Z X射线图像的组合训练,获得0.7平均平均精度(mAP)的六类目标检测问题。我们的研究结果还表现出显着程度的泛化能力的跨扫描仪的可转移性(AP:0.835/0.611)的一类目标检测问题相结合的RGB,高,低,有效的Z图像。
2021-08-27 cs.CV cs.LG
Interpreting Adversarially Trained Convolutional Neural Networks
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们试图解释如何对抗训练的卷积神经网络(AT-CNN)识别对象。我们设计了系统的方法来定性和定量地解释AT-CNN,并将其与正常训练的模型进行比较。令人惊讶的是,我们发现对抗性训练在对象识别任务上训练时会消除标准CNN的纹理偏差,并帮助CNN学习更多的形状偏差表示。我们从两个方面验证了我们的假设。首先,我们比较了AT-CNN和标准CNN在干净图像和不同变换下的图像上的显着性图。比较可以直观地表明,两种类型的CNN的预测对不同类型的特征非常敏感。其次,为了实现定量验证,我们构建了额外的测试数据集,这些数据集破坏了纹理或形状,例如干净数据的样式转换版本,饱和图像和patch-shuffled图像,然后在这些数据集上评估AT-CNN和正常CNN的分类精度。我们的研究结果揭示了为什么AT-CNN比那些正常训练的CNN更强大,并有助于从解释的角度更好地理解CNN的对抗训练。
2019-05-23 cs.CV cs.LG stat.ML
IPC-Net: 3D point-cloud segmentation using deep inter-point convolutional layers
Vrije Universiteit Brussel(布鲁塞尔自由大学)
在过去的十年中,由于新的3D传感器技术的普及和机器人领域的进步,对3D空间中更好的分割和分类算法的需求显着增长。点云是存储三维形状的数字描述的最流行的表示之一。然而,点云是以不规则和无序的结构存储的,这限制了诸如卷积神经网络等分割算法的直接使用。我们的工作目标是双重的:首先,我们的目标是提供一个全面的分析PointNet架构,以说明哪些功能正在从点云提取。其次,提出了一种新的网络架构称为IPC-Net,以改善最先进的点云架构。我们表明,IPC网络提取了一组更大的独特功能,使模型产生更准确的分割相比,PointNet架构。一般来说,我们的方法优于PointNet的每一个家庭的3D几何模型进行了测试。在每个3D形状上都观察到了高度的泛化改进,特别是在火箭数据集上。我们的实验表明,我们的主要贡献,网络层上的点间激活,是必不可少的准确分割3D点云。
2019-09-30 cs.CV cs.LG
Canonical convolutional neural networks
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);Fraunhofer Center for Machine Learning and SCAI(弗劳恩霍夫机器学习中心与算法与科学计算研究所);University of Bonn(波恩大学)
本文介绍了卷积神经网络的规范权值归一化。受正则张量分解的启发,我们将所谓的正则网络中的权重张量表示为外部向量乘积的缩放和。特别地,我们以分解形式训练网络权重,其中针对每个模式分别优化尺度权重。此外,类似于权重归一化,我们包括一个全局缩放参数。我们研究的初始化的标准形运行的权力方法和随机绘制高斯分布或均匀分布。我们的结果表明,我们可以取代功率方法与廉价的初始化标准分布。规范的重新参数化导致MNIST,CIFAR10和SVHN数据集上的竞争性归一化性能。此外,该公式简化了网络压缩。一旦训练收敛,标准形式允许通过截断参数和来方便地压缩模型。
2022-06-03 cs.LG
Choosing a sampling frequency for ECG QRS detection using convolutional networks
Deakin University(迪肯大学)
自动QRS检测方法依赖于以特定频率采样的ECG数据,而不管基于滤波器的传统方法还是基于卷积网络(CNN)的深度学习方法。这些方法首先需要选择它们工作的采样频率。在处理来自以不同频率采样的两个不同数据集的数据时,通常,来自两个数据集的数据可能需要以共同的目标频率重新采样,该频率可以是任一数据集的频率,也可以是不同的频率。然而,选择以特定频率采样的数据可能会影响模型的泛化能力和复杂性。有一些研究调查了ECG样本频率对传统基于滤波器的方法的影响,但是,ECG样本频率对基于深度学习的模型(卷积网络)的影响的广泛研究,探索其通用性和复杂性尚未得到探索。该实验研究调查了六种不同的采样频率(50,100,250,500,1000和2000 Hz)对四种不同的基于卷积网络的模型的通用性和复杂性的影响,以便为特定性能要求的QRS检测任务确定适当的采样频率。数据库内测试报告,从100 Hz到250 Hz,准确度提高不超过约0.6\%,并且所有基于CNN的模型的这两个频率的四分位数范围较短。研究结果表明,基于卷积网络的深度学习模型能够在低至100 Hz或250 Hz的频率下采样的ECG信号上获得更高水平的检测准确度,同时保持较低的模型复杂度(可训练参数的数量和训练时间)。
2020-07-04 cs.LG eess.SP
Uncertainty Propagation in Convolutional Neural Networks: Technical Report
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary, University of London(伦敦玛丽女王大学)
在本技术报告中,我们研究了通过卷积神经网络(CNN)的典型构建块传播不确定性(根据给定单变量正态随机变量的方差)的问题。这些包括执行线性操作的层,例如2D卷积,全连接和平均池化层,以及对其输入进行非线性操作的层,例如整流线性单元(ReLU)。最后,我们讨论了S形函数,我们给出了它的一阶和二阶矩的近似,以及二进制交叉熵损失函数,我们近似其正常的随机输入下的期望值。
2021-02-11 cs.LG
A Multi-Fidelity Convolutional Autoencoder-Transfer Learning Framework for Guided-Wave-Based Damage Diagnosis Using Large Simulated and Limited Experimental Datasets
Indian Institute of Technology Delhi(印度理工学院德里分校)
提出多保真迁移学习框架,结合轻量物理仿真、卷积自编码器深度特征学习和少量实验数据,实现板结构损伤定位与尺寸估计,R²分别超0.93和0.99。
2026-06-26 cs.LG
Generative Path-Law Jump-Diffusion: Sequential MMD-Gradient Flows and Generalisation Bounds in Marcus-Signature RKHS
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);University of Paris 6(巴黎第六大学);Quant Finance Ltd(Quant Finance有限公司)
本文提出了一种生成框架,通过序列匹配问题生成与时间演变路径-律代理一致的连续路径,结合预期结构断裂、制度转换和非自主动力学。核心方法是Anticipatory Neural Jump-Diffusion流,通过动态谱白化确保在波动制度转换和离散随机冲击中保持收缩性。
2026-04-06 cs.LG q-fin.MF q-fin.ST
Ischemic Stroke Identification Based on EEG and EOG using 1D Convolutional Neural Network and Batch Normalization
Universitas Indonesia(印度尼西亚大学);Bogor Agricultural University(茂物农业大学)
2015年,中风是印度尼西亚的头号死亡原因。大多数类型的中风是缺血性的。诊断中风的标准工具是CT扫描。对于像印度尼西亚这样的发展中国家,CT扫描的可用性非常有限,而且仍然相对昂贵。由于可用性,另一种可能在印度尼西亚诊断中风的设备是EEG。缺血性中风的发生是由于阻塞,这可以使中风患者的脑血流量(CBF)变得低于正常人(对照)的CBF,从而使EEG信号减速。在这项研究中,我们执行的一维卷积神经网络(1DCNN)的能力,以构建分类模型,可以区分EEG和EOG中风数据从EEG和EOG控制数据。为了加快训练过程,我们使用了批量归一化。涉及62人的数据对象,并从留一的情况下,重复测量五次,我们得到的平均准确度0.86(F-得分0.861),只有在200个epoch。该结果优于作为比较器的所有浅层和流行的分类器(准确率0.69和F-Score 0.72的最佳结果)。我们的研究中使用的特征只有24个手工特征,特征提取过程简单。
2016-10-06 cs.LG cs.NE
$\ell_0$ Regularized Structured Sparsity Convolutional Neural Networks
University of California, Irvine(加州大学欧文分校);Whittier College(惠蒂尔学院);Qualcomm AI(高通人工智能)
加深和加宽卷积神经网络(CNN)通过分别增加更多的卷积层和每层的特征图来显著增加可训练权重参数的数量。通过在训练过程中对层的权重施加组间和组内稀疏性,可以获得精度与密集网络相当的压缩网络。在本文中,我们提出了一个新的变种稀疏组套索,混合$\ell_0$规范到个人的权重参数和$\ell_{2,1}$规范到一个层的输出通道。为了解决$\ell_0$范数的不可微性,我们应用变量分裂,从而产生一种算法,该算法包括执行随机梯度下降,然后对每次迭代进行硬阈值处理。分别在MNIST和CIFAR 10/100的LeNet-5和宽残差网络上进行了数值实验。他们展示了我们提出的方法在实现卓越的测试精度与网络稀疏化与当前最先进的水平。
2019-12-17 cs.CV cs.LG
Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm
Universite Clermont Auvergne(克莱蒙奥弗涅大学);INSA Lyon(里昂国立应用科学学院)
虽然深度神经网络(DNN)已被证明对许多任务是有效的,但它们具有高存储器和计算成本,因此使它们在资源有限的设备上不切实际。然而,已知这些网络包含大量参数。最近的研究表明,它们的结构可以更紧凑,而不会影响它们的性能。在本文中,我们提出了一个稀疏诱导正则化项的基础上比l1/l2的伪范数定义的滤波器系数。通过为不同的滤波器内核适当地定义该伪范数,并去除不相关的滤波器,可以大幅减少每层中的内核数量,从而产生非常紧凑的深度卷积神经网络(DCNN)结构。与许多现有方法不同,我们的方法不需要迭代再训练过程,并且使用此正则化项,在训练过程中直接产生稀疏模型。此外,我们的方法也比现有的方法更容易和更简单的实现。在MNIST和CIFAR-10上的实验结果表明,我们的方法显着减少了经典模型(如LeNet和VGG)的过滤器数量,同时达到了与基线模型相同甚至更好的精度。此外,稀疏性和准确性之间的权衡相比,其他损失正则化项的基础上l1或l2范数以及SSL,NISP和GAL方法,并表明我们的方法是优于他们。
2020-07-20 cs.LG cs.NE
Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
University of South Australia(南澳大学);University of California, San Diego(加州大学圣地亚哥分校);Western Sydney University(西悉尼大学)
批量归一化(BN)层被认为是当今最先进的深度卷积神经网络中不可或缺的重要层类型,用于计算机视觉任务,例如分类和检测。然而,BN层引入了复杂性和计算开销,这对于实时嵌入式视觉系统(例如UAV、机器人和物联网(IoT)设备)的低功率定制硬件实现的训练和/或推断是非常不期望的。当在训练期间批量大小需要非常小时,它们也是有问题的,并且诸如比BN层更近引入的剩余连接等创新可能会减少它们的影响。在本文中,我们的目标是量化的好处BN层提供的图像分类网络,在与其他选择相比。特别是,我们研究了使用移位ReLU层而不是BN层的网络。我们发现,在将宽残差网络应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的实验之后,BN层并不总是提供显著的优势。我们发现,BN层提供的准确度取决于数据集、网络大小和权重的位深度。我们的结论是,在BN层由于速度,内存或复杂性成本而不受欢迎的情况下,应该考虑使用移位ReLU层;我们发现它们可以在所有这些领域提供优势,并且通常不会带来显着的准确性成本。
2019-07-22 cs.CV cs.LG cs.NE
Learning Spatially Adaptive $\ell_1$-Norms Weights for Convolutional Synthesis Regularization
MaLGa Center, DIBRIS, Università di Genova, MMS, Istituto Italiano di Tecnologia(MaLGa中心、DIBRIS、热那亚大学、MMS、意大利理工学院)
提出一种展开算法,在卷积合成正则化框架中学习空间自适应参数图,通过展开FISTA估计深度参数化稀疏特征图权重,用于低场MRI重建,结果与模型驱动深度学习方法相当且可解释性强。
2025-10-22 cs.CV cs.LG math.OC
Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);Azad University of Kerman(克尔曼阿扎德大学);Imperial College London(帝国理工学院);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心)
本文比较FL、DP和DP-FL中的LayerNorm、GroupNorm与KernelNorm,证明KernelNorm在准确率、收敛和通信效率上更优,并提出KNResNet-13,在CIFAR-10和Imagenette上取得差分隐私学习新SOTA。
2022-11-23 cs.CR cs.LG
MoCoNet: Motion Correction in 3D MPRAGE images using a Convolutional Neural Network approach
Monash University(莫纳什大学);School of Psychological Sciences, Monash University(莫纳什大学心理科学学院);Research Centre Juelich(于利希研究中心)
目的:抑制MR图像中的运动伪影是一项具有挑战性的任务。本文的目的是开发一种独立的新技术,使用数据驱动的深度学习方法来抑制MR图像中的运动伪影。方法:开发了一种深度学习卷积神经网络(CNN)来去除脑部MR图像中的运动伪影。在模拟的运动破坏图像上训练CNN,以识别和抑制由于运动引起的伪影。该网络是一个编码器-解码器CNN架构,其中编码器将运动损坏的图像分解为一组特征图。然后,解码器网络将特征图组合以生成运动校正图像。该网络在一个看不见的模拟数据集和一个实验性的、运动损坏的体内大脑数据集上进行了测试。结果如下:训练后的网络能够抑制模拟运动损坏图像中的运动伪影,运动校正图像中的平均百分比误差为2.69%,标准偏差为0.95%。该网络能够有效地抑制来自实验数据集的运动伪影,证明了训练网络的泛化能力。结论:一种新的和通用的运动校正技术已经开发出来,可以抑制运动污染的MR图像的运动伪影。所提出的技术是一种独立的后处理方法,不干扰数据采集或重建参数,因此适用于多种MR序列。
2018-07-29 cs.CV cs.LG eess.IV
Deep Shading: Convolutional Neural Networks for Screen-Space Shading
Max-Planck-Institut für Informatik(马克斯·普朗克计算机科学研究所);University College London(伦敦大学学院)
在计算机视觉中,卷积神经网络(CNN)最近在几个逆问题中实现了新的性能水平,其中RGB像素外观被映射到位置,法线或反射率等属性。在计算机图形学中,屏幕空间着色最近提高了交互式图像合成中的视觉质量,其中虚拟3D场景的位置,法线或反射率等每像素属性被转换为RGB像素外观,从而实现环境遮挡,间接光,散射,景深,运动模糊或抗锯齿等效果。在本文中,我们考虑对角问题:使用CNN从给定的每像素属性合成外观。由此产生的Deep Shading以具有竞争力的质量和速度模拟各种屏幕空间效果,而不是由人类专家编程,而是从示例图像中学习。
2016-08-03 cs.GR cs.LG