DeepWeightFlow: Re-Basined Flow Matching for Generating Neural Network Weights
Northeastern University(东北大学)
本文提出DeepWeightFlow,通过在权重空间中直接生成多种架构和规模的神经网络权重,提升生成效率和准确性,无需微调且能处理大规模模型。
2026-04-30 cs.LG stat.ML
Neural networks with superexpressive activations and integer weights
给出了激活函数$σ$的一个例子,使得具有激活$\{σ, \lfloor\cdot\rfloor\}$、整数权重和取决于$d$的固定架构的网络近似于$[0,1]^d$上的连续函数。推导出$\varepsilon$ -Hölder连续函数逼近所需的整数权重范围,从而导致给定$n$样本的未知$β$ -Hölder连续函数的神经网络回归估计具有$n^{\frac{-2β}{2β+d}}\log_2n$阶收敛速度。
2021-05-29 cs.LG stat.ML
A Channel-Pruned and Weight-Binarized Convolutional Neural Network for Keyword Spotting
UC Irvine(加州大学欧文分校);UC San Diego(加州大学圣地亚哥分校)
我们研究了结合权重二值化(1位权重精度)的通道数减少,以修剪用于关键字定位(分类)任务的卷积神经网络。我们采用了基于组Lasso惩罚的组分裂方法,以实现超过50%的信道稀疏性,同时保持网络性能在0.25%的准确性损失。我们展示了一个有效的三阶段过程来平衡网络训练的准确性和稀疏性。
2019-09-12 cs.LG stat.ML
A Bayesian approach for initialization of weights in backpropagation neural net with application to character recognition
University of Turin(都灵大学)
权值的初始化严重影响神经网络训练算法的收敛速度。本文提出了一种新颖的反向传播神经网络权值初始化算法,并将其应用于字符识别。初始化方法主要基于卡尔曼滤波器的定制,将其转换为贝叶斯统计术语。在这种情况下,考虑权重作为相互依赖的正态随机变量建模的测量值,使用一种新的方法。算法的性能证明了报告和讨论的模拟试验的结果。并与随机权值初始化等方法进行了比较。所提出的方法显示了一个改进的收敛速度的反向传播训练算法。
2020-04-04 cs.LG stat.ML
Weight Uncertainty in Neural Networks
Google DeepMind(谷歌DeepMind)
我们介绍了一种新的,高效的,原则性和反向传播兼容的算法,用于学习神经网络的权重上的概率分布,称为贝叶斯反向传播。它通过最小化压缩成本来调整权重,压缩成本被称为变分自由能或边际似然的预期下限。我们表明,这种原则性的正则化产生相当的性能辍学MNIST分类。然后,我们演示了如何学习的权重的不确定性可以用来改善非线性回归问题的泛化,以及如何使用这种权重的不确定性来驱动强化学习中的探索-利用权衡。
2015-05-21 cs.LG stat.ML
Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Purdue University(普渡大学)
本文提出了一种基于范数的$L_{p,q}$权重归一化深度神经网络容量控制的一般框架。我们建立了这个家庭的Rademacher复杂性的上界。与$L_{p,q}$规范化,其中$q\le p^*$,和$1/p+1/p^{*}=1$,我们讨论的宽度无关的容量控制,它只依赖于深度的平方根项的属性。我们进一步分析了$L_{p,q}$权值归一化深度神经网络的逼近性质。特别地,对于$L_{1,\infty}$权重归一化网络,近似误差可以由输出层的$L_1$范数控制,并且相应的泛化误差仅取决于深度的平方根的架构。
2018-11-28 cs.LG stat.ML
Projected BNNs: Avoiding weight-space pathologies by learning latent representations of neural network weights
Harvard University(哈佛大学);IBM Research(IBM研究院)
随着机器学习系统被广泛用于高风险决策,量化预测的不确定性变得至关重要。虽然现代神经网络在预测精度方面取得了显着的进步,但由于网络参数空间的高维性和复杂相关性,表征这些模型参数的不确定性是具有挑战性的。本文介绍了一种新的变分推理框架贝叶斯神经网络,(1)编码的复杂分布在高维参数空间中的低维潜在空间中的表示,(2)执行推理的低维表示。在大量的合成和真实世界的数据集,我们表明,我们的方法相比,直接在参数空间中工作的方法,提高了不确定性表征和模型的泛化。
2019-06-13 cs.LG stat.ML
Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights
Uber AI(优步人工智能)
概率神经网络通常用独立的权重先验来建模,其不捕获先验中的权重相关性,并且不提供用于在函数空间中表达属性的简约接口。一个理想的先验类别将表示权重的复杂性,捕获权重之间的相关性,促进关于不确定性的校准推理,并允许包含关于函数空间的先验知识,例如周期性或对上下文(如输入)的依赖性。为此,本文介绍了两个创新:(i)一个基于高斯过程的分层模型的网络权重的基础上,可以灵活地编码相关的权重结构的单元嵌入,以及(ii)这些权重先验的输入依赖版本,可以提供方便的方法来正则化的功能空间,通过使用定义在上下文输入的内核。我们表明,这些模型提供了理想的测试时间的不确定性估计的分布数据,演示的情况下,建模的神经网络与内核,这有助于从训练数据的内插和外推的诱导偏差,并展示竞争力的预测性能的主动学习基准。
2020-02-10 cs.LG stat.ML
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology(麻省理工学院)
最近的工作已经研究了在神经切线核(NTK)制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多,我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论,我们从理论上证明了梯度下降驱动分层权重更新,这些更新与由误差加权的输入活动相关性一致,并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机,反向传播自由学习规则,理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则,并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度,这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
Enhancing the Regularization Effect of Weight Pruning in Artificial Neural Networks
Florida State University(佛罗里达州立大学)
人工神经网络(ANN)在用于移动电话或嵌入式设备时可能不值得其计算/存储器成本。参数修剪算法可以降低这些成本,一些算法能够在不损害ANN性能的情况下去除ANN的90%以上的权重。从ANN中去除权重是一种正则化形式,但现有的修剪算法并不能显着改善泛化误差。我们表明,修剪人工神经网络可以提高泛化,如果修剪的目标是大的权重,而不是小的权重。将我们的修剪算法应用到ANN中,会导致CIFAR-10数据上的图像分类精度比应用流行的正则化丢弃更高。修剪将这种更高的准确性与ANN参数计数减少85%相结合。
2018-05-04 cs.LG stat.ML
Approximation error of single hidden layer neural networks with fixed weights
本文给出了具有两个固定权值的单隐层神经网络逼近误差的显式表达式。
2022-03-04 cs.LG math.CA stat.ML
RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks
我们提出了RSO(随机搜索优化),一种基于梯度自由马尔可夫链蒙特卡罗搜索的方法,用于训练深度神经网络。为此,RSO向深度神经网络中的权重添加扰动,并测试它是否减少了小批量的损失。如果这减少了损失,则更新权重,否则保留现有权重。令人惊讶的是,我们发现对每个权重重复这个过程几次就足以训练深度神经网络。与SGD的反向传播相比,RSO的权重更新数量要少一个数量级。RSO可以在每个步骤中进行积极的权重更新,因为没有学习率的概念。各个层的权重更新步骤也不与损失的幅度相耦合。RSO在MNIST和CIFAR-10数据集上的分类任务上进行了评估,深度神经网络为6到10层,准确率分别为99.1%和81.8%。我们还发现,更新后的权重只有5次,该算法获得了98%的分类准确率MNIST。
2020-05-12 cs.LG stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Simultaneously Optimizing Weight and Quantizer of Ternary Neural Network using Truncated Gaussian Approximation
University of Central Florida(中佛罗里达大学)
在过去的几年里,深度卷积神经网络在许多人工智能应用中取得了巨大的成功。然而,其庞大的模型规模和庞大的计算成本已经成为部署这种强大的算法在低功耗和资源有限的移动系统的主要障碍。作为该问题的对策,已经广泛探索了具有三值化权重(即,-1,0,+1)的深度神经网络,以极大地减小模型大小和计算成本,并且精度降低有限。在这项工作中,我们提出了一种新的三端化的神经网络训练方法,同时优化的权重和量化器在训练过程中,区别于以往的作品。而不是固定和统一的权重三进制化,我们是第一个将权重三进制化的阈值纳入一个封闭的形式表示使用截断高斯近似,使权重和量化器的同时优化,通过反向传播训练。在第一层和最后一层都被三进制化的情况下,ImageNet分类任务的实验表明,与全精度对应物相比,我们三进制化的ResNet-18/34/50的准确率仅下降了3.9/2.52/2.16%。
2018-10-02 cs.LG stat.ML
Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院)
深度神经网络的无限宽度限制通常具有易于处理的形式。它们已被用来分析有限网络的行为,以及在自己的权利是有用的方法。在研究无限宽卷积神经网络(CNN)时,观察到空间权重共享产生的相关性在无限极限中消失。这是不可取的,因为空间相关性是CNN背后的主要动机。我们表明,这个属性的损失是不是一个后果的无限的限制,而是选择一个独立的权重先验。关联权重保持激活中的相关性。改变独立权重限制和均值池之间的相关性插值量。对无限宽网络的经验评估表明,在极端之间实现了最佳性能,这表明相关性是有用的。
2021-06-13 cs.LG stat.ML
Compressibility Loss for Neural Network Weights
Nokia Technologies(诺基亚科技)
在本文中,我们应用了压缩性损失,使学习高度可压缩的神经网络的权重。以前提出的损失作为一个信号的否定稀疏性的措施,但在本文中,我们表明,最大限度地减少这种损失也强制信号的非零部分具有非常低的熵,从而使整个信号更可压缩。对于一个优化问题的目标是最小化的压缩性损失(目标),我们证明了在任何临界点的目标,权重向量是一个三元信号和相应的值的目标是在信号中的非零元素的数量的平方根,从而直接相关的稀疏性。在实验中,我们训练神经网络的压缩损失,我们表明,该方法实现的重量稀疏性和压缩比与国家的最先进的。
2019-05-03 cs.LG stat.ML
Detecting Statistical Interactions from Neural Network Weights
University of Southern California(南加州大学)
解释神经网络是机器学习中一项至关重要且具有挑战性的任务。在本文中,我们开发了一种新的框架,用于检测前馈多层神经网络捕获的统计相互作用,直接解释其学习的权重。根据所需的相互作用,我们的方法可以实现显着更好的或类似的相互作用检测性能相比,国家的最先进的,而无需搜索可能的相互作用的指数解空间。我们通过观察输入特征之间的相互作用是由非线性激活函数的非加性效应产生的,并且相互作用的路径被编码在权重矩阵中,来获得这种准确性和效率。我们证明了我们的方法的性能和发现的相互作用的重要性,通过在合成数据集和现实世界的应用程序数据集上的实验结果。
2018-02-27 cs.LG stat.ML
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations
City University of Hong Kong(香港城市大学)
在神经网络中,使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中,我们证明了一族正则化器,包括权重衰减,对于具有正齐次激活函数(如线性,ReLU和最大池函数)的网络,在惩罚权重的内在范数方面是无效的。作为同质性的结果,由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感,因此不能很好地正则化模型容量,导致过拟合。为了解决这个缺点,我们提出了一种改进的正则化,是不变的重量尺度的变化,从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界,因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限,这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。
2022-06-08 cs.LG stat.ML
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong(香港城市大学)
在具有批量归一化的深度神经网络(BN-DNN)的训练实践中,权重衰减通常用于确保良好的泛化,其中由于归一化,一些卷积层对于权重重新缩放是不变的。在本文中,我们证明了权重衰减的实际使用仍然有一些未解决的问题,尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面,当使用非自适应学习率(例如,具有动量的SGD)时,有效学习率甚至在初始训练阶段之后继续增加,这导致许多神经架构中的过拟合效应。另一方面,在SGDM和自适应学习率优化器(如Adam)中,权重衰减对泛化的影响对超参数非常敏感。因此,找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点,我们建议使用一个简单而有效的权重重新缩放(WRS)计划作为权重衰减的替代方案,规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数,这防止了梯度的大幅增加,但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中,与权重衰减、隐式权重重缩放(权重标准化)和梯度投影(AdamP)相比,WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
Prediction intervals for neural network models using weighted asymmetric loss functions
Humboldt University of Berlin(柏林洪堡大学);Savvie AS;University of Essex(埃塞克斯大学)
本研究提出一种利用加权非对称损失函数生成神经网络预测区间的高效方法,经数学证明与真实任务测试,可在复杂场景中生成可靠的预测区间。
2023-07-18 cs.LG stat.ML
SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network
Texas A&M University(德克萨斯农工大学);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Mind, and Machines(脑、心智与机器中心)
本文从理论和实验上证明小批量SGD配合权重衰减会诱导神经网络权重矩阵趋向低秩,且该偏差随批量减小、学习率增大或权重衰减增强而更明显,但对测试性能影响很小。
2024-10-18 cs.LG stat.ML
Learning Invariant Weights in Neural Networks
Imperial College London(帝国理工学院)
关于数据不变性或对称性的假设可以显著提高统计模型的预测能力。机器学习中的许多常用模型都受到约束,以尊重数据中的某些对称性,例如卷积神经网络中的平移等方差,并且正在积极研究新对称类型的合并。然而,从数据本身学习这种不变性的努力仍然是一个开放的研究问题。已经表明,边际似然提供了一种原则性的方法来学习高斯过程中的不变性。我们提出了一个权重空间等效于这种方法,通过最小化的边际似然的下限,学习不变性的神经网络自然导致更高的性能模型。
2022-08-02 cs.LG stat.ML
A Generative Model for Sampling High-Performance and Diverse Weights for Neural Networks
UCLA(加州大学洛杉矶分校)
最近关于深度神经网络的损失景观中的模式连通性的工作已经证明,(次)最优权重向量的轨迹位于连续路径上。在这项工作中,我们训练一个神经网络,作为一个超网络,映射到高性能(低损耗)的权重向量的潜在向量,推广最近的研究结果的模式连接到高维流形。我们将训练目标制定为准确性和多样性之间的折衷,其中多样性考虑了目标网络的平凡对称变换。我们演示了如何减少参数共享的超网络中的参数的数量。一旦学会,超网络允许计算效率,神经网络权重的祖先采样,我们招募这些权重来形成大的集合。分类精度的提高,通过这种集成表明,所产生的流形延伸的尺寸以外的平凡对称性所暗示的方向。为了提高计算效率,我们将集成提取到单个分类器中,同时保留泛化。
2019-05-07 cs.LG stat.ML
Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization
Hailo Technologies(海洛科技)
由于需要在嵌入式设备上高效实现深度神经网络,神经网络的量化已成为常见做法。在本文中,我们利用了大多数网络中经常被忽视的自由度-对于给定的层,单个输出通道可以通过任何因子进行缩放,前提是下一层的相应权重被逆缩放。因此,一个给定的网络有许多因子分解,这些因子分解改变了网络的权重,而不改变其功能。我们提出了一个概念上简单,易于实现的方法,使用此属性,并表明适当的因式分解显着降低量化所造成的退化。我们在各种各样的网络上表现出改进,并为MobileNets实现了最先进的降级结果。虽然我们的重点是量化,但这种类型的因式分解也适用于其他领域,如网络修剪,神经网络正则化和网络可解释性。
2019-02-05 cs.LG stat.ML
On the Effectiveness of Random Weights in Graph Neural Networks
Purdue University(普渡大学);University of Cambridge(剑桥大学)
本文证明在GNNs中用随机权重替代可学习权重,能在保持预测能力的同时大幅减少训练时间与内存,缓解特征秩坍缩问题,为GNN设计与训练提供了轻量高效的替代方案。
2025-01-31 cs.LG stat.ML
Generating Neural Networks with Neural Networks
超网络是为另一个神经网络生成权重的神经网络。我们将超网络训练目标制定为准确性和多样性之间的折衷,其中多样性考虑到目标网络的平凡对称变换。我们解释了这个简单的配方推广变分推断。我们使用多层感知器来形成从低维输入随机向量到高维权重空间的映射,并演示了如何通过参数共享来减少该映射中的参数数量。我们进行实验,并表明,所产生的权重是不同的,并躺在一个非平凡的流形。
2018-04-06 cs.LG stat.ML
Topology of Learning in Artificial Neural Networks
MAGMA Learning(MAGMA学习机构)
理解神经网络如何学习仍然是机器学习研究的核心挑战之一。神经网络的权重在训练开始时是随机的,它以一种能够执行各种任务的方式发展,比如对图像进行分类。在这里,我们研究的出现结构的权重应用拓扑数据分析的方法。我们在MNIST数据集上训练简单的前馈神经网络,并监控权重的演变。当初始化为零时,权重遵循递归分支的轨迹,从而生成描述每层有效容量增长的树。当初始化为微小的随机值时,权重沿着二维表面平滑地演变。我们发现,这些学习表面上的自然坐标对应的重要因素的变化。
2020-10-27 cs.LG stat.ML
On weight and variance uncertainty in neural networks for regression tasks
University of Tehran(德黑兰大学);Ferdowsi University of Mashhad(马什哈德法尔多西大学)
本文提出在回归任务中引入方差不确定性以提升贝叶斯神经网络的预测性能,并通过实验验证其有效性。
2026-02-28 cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University(亚琛工业大学)
最近,有大量关于设计深度神经网络(DNN)的工作,这些网络对对抗性示例具有鲁棒性。特别是,一个中心问题是DNN的哪些特征会影响对抗鲁棒性,因此可以用于设计鲁棒的DNN。在这项工作中,这个问题是研究通过镜头的压缩,这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上,当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时,神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时,它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争,但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations
University of Oxford(牛津大学);OATML, Department of Computer Science(OATML计算机科学系)
我们挑战了长期以来的假设,即贝叶斯神经网络中变分推理的平均场近似是严格限制性的,并表明在深度网络中并非如此。我们证明了几个结果表明,深平均场变权后验子可以诱导类似的分布在函数空间中的浅网络与复杂的权重后验子。我们验证了我们的理论贡献经验,无论是通过检查的重量后,在小模型中使用哈密顿蒙特卡罗和比较对角结构协方差在大的设置。由于复杂的变分后验往往是昂贵和繁琐的实施,我们的研究结果表明,使用平均场变分推理在更深的模型是一个实际的和理论上合理的替代结构化近似。
2021-03-10 cs.LG stat.ML
Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies(综合研究大学院大学)
提出了一种从递归神经网络中提取加权有限自动机的方法。我们的算法是基于WFA学习算法的Balle和Mohri,这又是一个扩展的Angluin的经典\lstar算法。我们的技术新颖性在于使用\emph{regression}方法进行所谓的等价查询,从而利用RNN的内部状态空间来优先考虑反例候选。通过这种方式,我们实现了Weiss,Goldberg和Yahav最近提取DFA的工作的定量/加权扩展。我们实验评估的准确性,表现力和效率的提取WFAs。
2019-11-20 cs.LG stat.ML
Soft Weight-Sharing for Neural Network Compression
University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
深度学习在众多应用领域的成功创造了在移动设备上运行和训练它们的需求。然而,这与它们的计算、存储和能量密集的性质相冲突,导致对压缩的兴趣越来越大。Han等人(2015 a)的最新工作提出了一种管道,涉及神经网络权重的再训练,修剪和量化,获得最先进的压缩率。在本文中,我们表明,有竞争力的压缩率可以通过使用一个版本的软权重共享(Nowlan和Hinton,1992年)。我们的方法在一个简单的(重新)训练过程中实现了量化和修剪。这一观点还揭示了压缩与最小描述长度(MDL)原则之间的关系。
2017-05-09 cs.LG stat.ML
Neural Networks With Dense Computational Graphs Are Not Universal Approximators
Princeton University, Dept of CS(普林斯顿大学计算机科学系);MIT, Dept of EECS and CSAIL(麻省理工学院电子工程与计算机科学系及计算机科学与人工智能实验室);TUM, School of CIT, MCML, MDSI(技术大学(TUM)信息科技学院,MCML,MDSI);Technion – IIT, Faculty of Mathematics(技术学院–以色列理工学院数学学院)
研究探讨了密集神经网络的逼近能力,指出在有限的权重约束下,密集连接的神经网络无法逼近任意连续函数,从而揭示了密集层神经网络的固有局限性,推动了稀疏连接在实现真正通用性中的必要性。
2026-11-11 cs.LG stat.ML
Weight Agnostic Neural Networks
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);Google Brain(谷歌大脑)
并不是所有的神经网络架构都是平等的,对于某些任务,有些架构的性能要比其他架构好得多。但是,与神经网络的架构相比,它的权值参数有多重要呢?在这项工作中,我们的问题在多大程度上神经网络架构单独,没有学习任何权重参数,可以编码解决方案,为一个给定的任务。我们提出了一种搜索方法的神经网络架构,已经可以执行任务,没有任何显式的权重训练。为了评估这些网络,我们使用从均匀随机分布中采样的单个共享权重参数填充连接,并测量预期性能。我们证明了我们的方法可以找到最小的神经网络架构,可以执行几个强化学习任务,而无需权重训练。在监督学习领域,我们发现网络架构使用随机权重在MNIST上实现比机会精度高得多的精度。本文的互动版,网址:https://weightagnostic.github.io/
2019-09-05 cs.LG cs.NE stat.ML
R3Net: Random Weights, Rectifier Linear Units and Robustness for Artificial Neural Network
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们考虑一个具有随机化特征的神经网络架构,一个符号分离器,后面是整流线性单元(ReLU)。我们证明了我们的架构具有鲁棒性的输入扰动:输出功能的神经网络表现出Lipschitz连续的输入扰动。我们进一步证明了网络输出具有一种区分能力,即不是任意接近的输入生成输出向量,这些输出向量保持彼此之间的距离服从一定的下界。这确保了两个不同的输入保持可区分,同时收缩输出特征空间中的距离。
2018-03-12 cs.LG stat.ML
Neural Networks in Adversarial Setting and Ill-Conditioned Weight Space
Adobe Systems Inc(奥多比系统公司)
最近,神经网络由于其在各种任务上提供高精度的能力而在其采用中出现了巨大的激增。另一方面,对抗性例子的存在引起了人们对神经网络泛化能力的怀疑。在这项工作中,我们专注于学习的神经网络的权重矩阵,并假设病态的权重矩阵是神经网络的易感性对抗性的例子的贡献因素之一。为了保证学习的权矩阵的条件数保持足够低,我们建议使用正交正则化。我们表明,这确实有助于提高MNIST和F-MNIST数据集的对抗准确性。
2018-01-03 cs.CV cs.LG stat.ML
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Iterative Neural Networks with Bounded Weights
Nicolaus Copernicus University(尼古拉·哥白尼大学)
最近对Hilbert空间中迭代神经网络模型的分析建立了这种网络的基本性质,如不动点集的存在性,收敛性分析和Lipschitz连续性。基于这些结果,我们证明了在一个单一的温和的条件下,对网络的权重,保证获得一个神经网络收敛到其唯一的不动点。我们提供了一个约束的范数的权重和偏置的网络。我们还表明,为什么这个模型的前馈神经网络是不能够容纳Hopfield网络在我们的假设。
2019-08-19 cs.LG math.FA stat.ML
On the Adversarial Robustness of Neural Networks without Weight Transport
University of Toronto(多伦多大学);Triage
用反向传播训练的神经网络是使用权重传输的深度学习的标准算法,很容易被现有的基于梯度的对抗攻击愚弄。这类攻击是基于输入的某些小扰动,使网络错误分类它们。我们发现,用反馈对齐训练的生物学上不太难以置信的深度神经网络,不使用权重传输,可以更难被愚弄,提供实际的鲁棒性。在MNIST上进行测试,没有权重传输的深度神经网络(1)具有98%的对抗准确率,而使用反向传播训练的神经网络的准确率为0.03%,(2)生成不可转移的对抗示例。然而,这个差距减少CIFAR-10,但仍然是显着的,特别是小扰动幅度小于1/2。
2019-10-03 cs.CR cs.LG stat.ML
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
提出了一种权值相似性度量方法,可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性,我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值,该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法,研究了多层感知器(MLP)、卷积神经网络(CNN)和递归神经网络(RNN)的权值相似性度量,发现用随机梯度下降(SGD)算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Efficient single input-output layer spiking neural classifier with time-varying weight model
Nanyang Technological University(南洋理工大学);Indian Institute of Science, Bangalore(班加罗尔印度科学学院)
针对具有时变权值模型的脉冲神经网络,提出了一种有监督学习算法,即基于元神经元的突触功效函数学习算法(SEF-M)。对于给定的模式,SEF-M使用从基于元神经元的学习算法导出的学习算法来确定与每个突触前尖峰时间相对应的权重的变化。权重的变化调制以相同的突触前尖峰时间为中心的高斯函数的振幅。振幅调制高斯函数的总和表示突触功效函数(或时变权重模型)。SEF-M的性能进行了评估,对国家的最先进的脉冲神经网络学习算法的10个基准数据集从UCI机器学习库。性能研究表明,优越的推广能力SEF-M。利用JAFFE数据集对时变权重模型进行了消融研究。消融研究的结果表明,使用时变权重模型,而不是单一的权重模型,提高了14%的分类精度。因此,可以推断,具有时变权重模型的单输入-输出层脉冲神经网络在计算上比具有长期或短期权重模型的多层脉冲神经网络更有效。
2019-03-21 cs.LG cs.NE stat.ML
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外,有民间传说,量化作为一个隐式正则化,从而可以提高神经网络的泛化能力,但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量,研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播,它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核(NTK),并证明了NTK的特征值近似以指数速率衰减,这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明,再生核希尔伯特空间(RKHS)的二进制权重神经网络覆盖一个严格的子集的功能相比,一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外,二值权值神经网络与实值权值神经网络相比,给出了更小的泛化间隙,这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
On weight initialization in deep neural networks
在神经网络中,权值的正确初始化对网络的收敛性至关重要。目前对权重初始化的认识主要来自线性激活函数。在本文中,我开发了一个理论的重量初始化与非线性激活。首先,我推导出一个一般的权重初始化策略,任何神经网络使用激活函数可微0。接下来,我推导出了整流线性单元(RECTIFITED LINEAR UNIT)的权重初始化策略,并从理论上解释了为什么Xavier初始化对于RECTIFITED LINEAR UNIT激活是一个糟糕的选择。我的分析提供了一个明确的示范作用的非线性确定适当的权重初始化。
2017-05-02 cs.LG
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences(阿塞拜疆国家科学院控制系统研究所)
本文对比了多层感知器在预计算权重与随机初始化权重下的表现,发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
Almost Sure Asymptotic Freeness of Neural Network Jacobian with Orthogonal Weights
良好的雅可比谱在防止梯度爆炸或消失以及加速深度神经网络的学习方面起着至关重要的作用。自由概率论有助于我们理解和处理雅可比谱。我们严格地证明了深度神经网络的分层雅可比矩阵的几乎必然渐近自由性作为宽极限。特别地,我们将权重初始化为Haar分布的正交矩阵的情况处理。
2020-02-12 cs.LG math.PR stat.ML
Neural Network Weights Do Not Converge to Stationary Points: An Invariant Measure Perspective
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院)
这项工作研究了现有的基于梯度的算法的理论分析和训练深度神经网络的实践之间的深度脱节。具体来说,我们提供了数值证据,表明在大规模神经网络训练(例如,ImageNet + ResNet 101和WT 103 + TransformerXL模型),神经网络的权重不会收敛到损失梯度为零的稳定点。然而,值得注意的是,我们观察到,即使权重没有收敛到固定点,最小化损失函数的过程也会停止,训练损失也会稳定下来。受此启发,我们提出了一个基于动力系统遍历理论的新视角来解释这一现象,即不研究权的演化,而是研究权分布的演化。我们证明了权重分布收敛到近似不变测度,从而解释了训练损失如何在权重不一定收敛到稳定点的情况下稳定。我们进一步讨论了这种观点如何更好地将优化理论与机器学习实践中的经验观察相结合。
2022-06-17 cs.LG math.OC stat.ML
Deeper Insights into Weight Sharing in Neural Architecture Search
Microsoft Research Asia(微软亚洲研究院)
随着深度神经网络的成功,神经结构搜索(NAS)作为一种自动模型设计的方式引起了广泛的关注。由于从头开始训练每个子模型非常耗时,最近的工作利用权重共享来加快模型评估过程。这些方法通过在超网络上维护一个权重副本并在每个子模型之间共享权重来大大减少计算。然而,权重分担没有理论保证,其影响以前也没有得到很好的研究。在本文中,我们进行了全面的实验来揭示权重共享的影响:(1)来自不同运行甚至来自同一运行中连续时期的最佳模型具有显著的方差;(2)即使在高方差的情况下,我们也可以从共享权重的超网训练中提取有价值的信息;(3)子模型之间的干扰是导致高方差的主要因素;(4)子模型之间的干扰是导致高方差的主要因素。(4)适当降低权重分担程度可以有效降低方差,提高性能。
2020-01-06 cs.CV cs.LG stat.ML
Neural networks with late-phase weights
Institute of Neuroinformatics(神经信息学研究所);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
训练神经网络的最成功的方法是使用随机梯度下降(SGD)的某种变体来学习它们的权重。在这里,我们证明了SGD找到的解决方案可以通过在学习的后期阶段集成权重的子集来进一步改进。在学习结束时,我们通过在权重空间中取空间平均来获得单个模型。为了避免增加计算成本,我们研究了一个家庭的低维后期的权重模型与其余参数的乘法相互作用。我们的研究结果表明,在CIFAR-10/100、ImageNet和enwik 8等已建立的基准测试中,使用后期权重增强标准模型可以提高泛化能力。这些发现的补充与嘈杂的二次问题,它提供了一个简化的图片后期阶段的神经网络学习的理论分析。
2022-04-11 cs.CV cs.LG stat.ML
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University(南京大学)
随着深度神经网络的发展,网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法,但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中,我们提出了一种用于模型压缩的新型量化方法,称为基于权重归一化的量化(WNQ)。WNQ采用权值归一化来避免网络权值的长尾分布,从而减小量化误差。在CIFAR-100和ImageNet上的实验表明,WNQ可以超越其他基线,实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
Compressing Weight-updates for Image Artifacts Removal Neural Networks
Nokia Technologies(诺基亚科技)
在本文中,我们提出了一种新的方法,微调解码器端的神经网络的图像压缩的背景下,这样的权重更新是更好的可压缩。在编码器端,我们通过使用应用于权重更新的压缩目标来微调目标数据上的预训练伪影去除网络。特别地,压缩目标鼓励稀疏且更接近量化值的权重更新。这样,最终的权重更新可以通过修剪和量化来更有效地压缩,并且可以与传统编解码器的图像比特流一起被包括在编码比特流中。我们表明,这种方法实现了重建质量,这是对标准或略优于传统的编解码器,在可比的比特率。据我们所知,这是首次尝试将图像压缩和神经网络的权重更新压缩结合起来。
2019-06-14 cs.LG cs.MM stat.ML
An Inter-Layer Weight Prediction and Quantization for Deep Neural Networks based on a Smoothly Varying Weight Hypothesis
Kyung Hee University(庆熙大学)
由于资源受限的环境,网络压缩已成为深入神经网络研究的重要组成部分。本文提出了一种新的压缩方法,\textit{Inter-Layer Weight Prediction}(ILWP)和量化方法,该方法基于传统视频编码方案中的帧间预测方法,在所有卷积层的权重之间进行预测残差。此外,我们发现了一种现象\textit{Smoothly Varying Weight Hypothesis}(SVWH),即相邻卷积层中的权重在形状和值上具有很强的相似性,即,重量倾向于随着层平滑地变化。基于SVWH,我们提出了第二种ILWP和量化方法,该方法将相邻卷积层中权重之间的预测残差进行量化。由于预测的权重残差倾向于遵循具有非常低方差的拉普拉斯分布,因此可以更有效地应用权重量化,从而产生更多的零权重并提高权重压缩比。此外,我们提出了一个新的\textit{inter-layer loss}消除非纹理位,这使我们能够更有效地存储只有纹理位。也就是说,所提出的损失正则化权重,使得相邻两层之间的并置权重具有相同的值。最后,我们提出了一个ILWP与层间损失和量化方法。综合实验结果表明,该方法在相同的精度水平下,与以往基于量化的深度神经网络压缩方法相比,具有更高的权重压缩率。
2020-08-20 cs.CV cs.LG stat.ML
Training highly effective connectivities within neural networks with randomly initialized, fixed weights
Romanian Institute of Science and Technology(罗马尼亚科学与技术研究院)
我们提出了一些新的,直接的方法来训练连接图的随机初始化的神经网络没有训练的权重。这些方法不使用定义截止阈值的超参数,因此消除了迭代搜索这种超参数的最佳值的需要。与训练所有权重的情况相比,我们可以实现类似或更高的性能,而计算成本与标准训练技术相似。除了打开和关闭连接之外,我们还介绍了一种通过翻转权重符号来训练网络的新方法。如果我们尝试最小化改变的连接的数量,通过改变不到总数的10%,就已经可以达到标准训练所达到的90%以上的准确率。我们得到了很好的结果,即使与权重的恒定幅度,甚至当权重是从高度不对称的分布。这些结果揭示了神经网络的过度参数化,以及如何将它们减小到有效大小。
2020-11-17 cs.LG cs.NE stat.ML
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院)
研究神经网络中权重扰动的敏感性及其对模型性能(包括泛化和鲁棒性)的影响是一个活跃的研究课题,因为它涉及到广泛的机器学习任务,如模型压缩,泛化差距评估和对抗攻击。本文对前馈神经网络在两两类间隔下的鲁棒性及其在权值扰动下的推广行为进行了第一次积分研究和分析。我们进一步设计了一个新的理论驱动的损失函数,用于训练可推广和鲁棒的神经网络对权重扰动。最后通过实验验证了理论分析的正确性。我们的研究结果为表征神经网络对权重扰动的泛化性和鲁棒性提供了基本的见解。
2021-12-17 cs.LG
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University(乌普萨拉大学)
在本文中,我们证明了,在深度极限,ResNet型深度神经网络,其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降,以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下,我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA