RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks
我们提出了RSO(随机搜索优化),一种基于梯度自由马尔可夫链蒙特卡罗搜索的方法,用于训练深度神经网络。为此,RSO向深度神经网络中的权重添加扰动,并测试它是否减少了小批量的损失。如果这减少了损失,则更新权重,否则保留现有权重。令人惊讶的是,我们发现对每个权重重复这个过程几次就足以训练深度神经网络。与SGD的反向传播相比,RSO的权重更新数量要少一个数量级。RSO可以在每个步骤中进行积极的权重更新,因为没有学习率的概念。各个层的权重更新步骤也不与损失的幅度相耦合。RSO在MNIST和CIFAR-10数据集上的分类任务上进行了评估,深度神经网络为6到10层,准确率分别为99.1%和81.8%。我们还发现,更新后的权重只有5次,该算法获得了98%的分类准确率MNIST。
2020-05-12 cs.LG stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Iterative Neural Networks with Bounded Weights
Nicolaus Copernicus University(尼古拉·哥白尼大学)
最近对Hilbert空间中迭代神经网络模型的分析建立了这种网络的基本性质,如不动点集的存在性,收敛性分析和Lipschitz连续性。基于这些结果,我们证明了在一个单一的温和的条件下,对网络的权重,保证获得一个神经网络收敛到其唯一的不动点。我们提供了一个约束的范数的权重和偏置的网络。我们还表明,为什么这个模型的前馈神经网络是不能够容纳Hopfield网络在我们的假设。
2019-08-19 cs.LG math.FA stat.ML
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong(香港城市大学)
在具有批量归一化的深度神经网络(BN-DNN)的训练实践中,权重衰减通常用于确保良好的泛化,其中由于归一化,一些卷积层对于权重重新缩放是不变的。在本文中,我们证明了权重衰减的实际使用仍然有一些未解决的问题,尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面,当使用非自适应学习率(例如,具有动量的SGD)时,有效学习率甚至在初始训练阶段之后继续增加,这导致许多神经架构中的过拟合效应。另一方面,在SGDM和自适应学习率优化器(如Adam)中,权重衰减对泛化的影响对超参数非常敏感。因此,找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点,我们建议使用一个简单而有效的权重重新缩放(WRS)计划作为权重衰减的替代方案,规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数,这防止了梯度的大幅增加,但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中,与权重衰减、隐式权重重缩放(权重标准化)和梯度投影(AdamP)相比,WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network
Texas A&M University(德克萨斯农工大学);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Mind, and Machines(脑、心智与机器中心)
本文从理论和实验上证明小批量SGD配合权重衰减会诱导神经网络权重矩阵趋向低秩,且该偏差随批量减小、学习率增大或权重衰减增强而更明显,但对测试性能影响很小。
2024-10-18 cs.LG stat.ML
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University(乌普萨拉大学)
在本文中,我们证明了,在深度极限,ResNet型深度神经网络,其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降,以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下,我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data
University of California, Irvine(加州大学欧文分校);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们研究了梯度下降的动态学习神经网络分类问题。与现有的工作不同,我们考虑线性不可分的情况下,不同类别的训练数据位于正交子空间。我们表明,当网络有足够的(但不是非常大)数量的神经元,(1)相应的最小化问题有一个理想的景观,所有的临界点是完美的分类的全局极小值;(2)梯度下降是保证收敛到全局极小值。此外,我们发现了一个几何条件的网络权重,以便当它被满足时,权重的演变过渡到一个缓慢的阶段的权重方向扩散到一个快速阶段的权重收敛。几何条件是指投影在单位球面上的权值的凸包包含原点。
2020-12-10 cs.LG math.OC stat.ML
Quantized Sparse Weight Decomposition for Neural Network Compression
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
本文介绍了一种新的神经网络权值压缩方法。在我们的方法中,我们将权重张量存储为稀疏的量化矩阵因子,其乘积在推理过程中动态计算以生成目标模型的权重。我们使用投影梯度下降方法来找到量化和稀疏分解的权重张量。我们表明,这种方法可以被看作是一个统一的权重SVD,矢量量化,稀疏PCA。结合端到端的微调,我们的方法在准确性和模型大小之间的权衡方面超过或等同于以前的最先进的方法。我们的方法是适用于温和的压缩制度,不像矢量量化,和极端的压缩制度。
2022-07-22 cs.LG
An Unconstrained Symmetric Nonnegative Latent Factor Analysis for Large-scale Undirected Weighted Networks
Dongguan University of Technology(东莞理工学院)
大规模无向加权网络通常出现在大数据相关的研究领域。它可以自然地量化为用于实现大数据分析任务的对称高维不完全(SHDI)矩阵。对称非负潜在因子分析(SNL)模型能够有效地从SHDI矩阵中提取潜在因子(LF)。然而,它依赖于一个约束组合的训练计划,这使得它缺乏灵活性。为了解决这个问题,本文提出了一个无约束对称非负潜在因素分析(USNL)模型。其主要思想有两个方面:1)通过在SNL模型中引入非负映射函数,将输出LF与决策参数分离; 2)采用随机梯度下降(SGD)实现无约束模型训练,同时保证输出LF的非负性。对实际大数据应用中生成的四个SHDI矩阵的实证研究表明,USNL模型具有比SNL模型更高的缺失数据预测精度,以及具有竞争力的计算效率。
2022-08-09 cs.LG
How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks
University of Liverpool(利物浦大学);State Key Laboratory of Computer Science, Institute of Software, CAS(中国科学院软件研究所计算机科学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Intellegence Software, Guangzhou(广州智能软件研究所)
本文研究了深度神经网络中权重相关性的新概念,并讨论了其对网络泛化能力的影响。对于全连接层,权重相关性被定义为神经元权重向量之间的平均余弦相似性,对于卷积层,权重相关性被定义为滤波器矩阵之间的余弦相似性。从理论上讲,我们表明,权重相关性可以,而且应该,被纳入到PAC贝叶斯框架的泛化的神经网络,由此产生的泛化界是单调的权重相关性。我们制定了一个新的复杂性的措施,提升PAC贝叶斯测量与权重相关性,并通过实验证实,它是能够排名的泛化错误的一组网络比现有的措施更精确。更重要的是,我们开发了一种新的正则化器用于训练,并提供了大量的实验,表明我们的新方法可以大大减少泛化误差。
2020-10-17 cs.AI cs.LG
Mining the Weights Knowledge for Optimizing Neural Network Structures
嵌入在人工神经网络的权重中的知识可用于改进网络结构,例如在网络压缩中。但是,这些知识是手工建立的,可能不太准确,相关信息可能会被忽略。受哺乳动物大脑学习机制的启发,本文将神经网络权值中包含的知识挖掘出来,用于结构的自动学习。我们引入了一个切换器神经网络(SNN),它使用特定于任务的神经网络(简称TNN)的权重作为输入。通过挖掘包含在权重中的知识,SNN输出用于关闭和加权TNN中的神经元的缩放因子。为了同时优化TNN的结构和参数,采用随机梯度下降算法在TNN相同的性能评估下交替学习SNN和TNN。我们在分类应用中广泛使用的数据集和流行的网络上测试了我们的方法。在准确性方面,我们稳定而显著地优于基线网络和其他结构学习方法。同时,我们压缩基线网络,而不引入任何稀疏归纳机制,特别是我们的方法,在处理更简单的基线或更困难的任务时,会导致较低的压缩率。这些结果表明,我们的方法可以产生一个更合理的结构。
2021-10-11 cs.LG cs.NE
Neural Networks in Adversarial Setting and Ill-Conditioned Weight Space
Adobe Systems Inc(奥多比系统公司)
最近,神经网络由于其在各种任务上提供高精度的能力而在其采用中出现了巨大的激增。另一方面,对抗性例子的存在引起了人们对神经网络泛化能力的怀疑。在这项工作中,我们专注于学习的神经网络的权重矩阵,并假设病态的权重矩阵是神经网络的易感性对抗性的例子的贡献因素之一。为了保证学习的权矩阵的条件数保持足够低,我们建议使用正交正则化。我们表明,这确实有助于提高MNIST和F-MNIST数据集的对抗准确性。
2018-01-03 cs.CV cs.LG stat.ML
Deeper Insights into Weight Sharing in Neural Architecture Search
Microsoft Research Asia(微软亚洲研究院)
随着深度神经网络的成功,神经结构搜索(NAS)作为一种自动模型设计的方式引起了广泛的关注。由于从头开始训练每个子模型非常耗时,最近的工作利用权重共享来加快模型评估过程。这些方法通过在超网络上维护一个权重副本并在每个子模型之间共享权重来大大减少计算。然而,权重分担没有理论保证,其影响以前也没有得到很好的研究。在本文中,我们进行了全面的实验来揭示权重共享的影响:(1)来自不同运行甚至来自同一运行中连续时期的最佳模型具有显著的方差;(2)即使在高方差的情况下,我们也可以从共享权重的超网训练中提取有价值的信息;(3)子模型之间的干扰是导致高方差的主要因素;(4)子模型之间的干扰是导致高方差的主要因素。(4)适当降低权重分担程度可以有效降低方差,提高性能。
2020-01-06 cs.CV cs.LG stat.ML
Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification
Royal Holloway University of London(伦敦大学皇家霍洛威学院)
深度学习的历史表明,人类设计的特定问题网络可以大大提高一般神经模型的分类性能。然而,在大多数实际情况下,为给定任务选择最佳架构仍然是一个具有挑战性的问题。最近的结构搜索方法能够自动构建具有强大性能的神经模型,但未能充分认识到神经结构和权重之间的相互作用。这项工作研究了解开神经结构及其边缘权重的作用的问题,表明训练有素的架构可能不需要任何特定于链路的权重微调。我们比较了这种无权重网络(在我们的情况下,这些是具有{0,1}值权重的二进制网络)与随机,权重不可知,修剪和标准全连接网络的性能。为了找到最优的权重不可知网络,我们使用了一种新的和计算效率高的方法,将硬架构搜索问题转化为一个可行的优化问题。更具体地说,我们将最优的任务特定架构视为具有{0,1}值权重的二进制网络的最优配置,可以通过近似梯度下降策略找到。理论上的收敛性保证所提出的算法是通过边界的梯度近似的误差和它的实际性能进行评估,在两个现实世界的数据集。为了测量不同架构之间的结构相似性,我们使用了一种新的谱方法,使我们能够强调实值网络和无权重架构之间的内在差异。
2020-09-11 cs.CV cs.LG stat.ML
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University(南京大学)
随着深度神经网络的发展,网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法,但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中,我们提出了一种用于模型压缩的新型量化方法,称为基于权重归一化的量化(WNQ)。WNQ采用权值归一化来避免网络权值的长尾分布,从而减小量化误差。在CIFAR-100和ImageNet上的实验表明,WNQ可以超越其他基线,实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
An Inter-Layer Weight Prediction and Quantization for Deep Neural Networks based on a Smoothly Varying Weight Hypothesis
Kyung Hee University(庆熙大学)
由于资源受限的环境,网络压缩已成为深入神经网络研究的重要组成部分。本文提出了一种新的压缩方法,\textit{Inter-Layer Weight Prediction}(ILWP)和量化方法,该方法基于传统视频编码方案中的帧间预测方法,在所有卷积层的权重之间进行预测残差。此外,我们发现了一种现象\textit{Smoothly Varying Weight Hypothesis}(SVWH),即相邻卷积层中的权重在形状和值上具有很强的相似性,即,重量倾向于随着层平滑地变化。基于SVWH,我们提出了第二种ILWP和量化方法,该方法将相邻卷积层中权重之间的预测残差进行量化。由于预测的权重残差倾向于遵循具有非常低方差的拉普拉斯分布,因此可以更有效地应用权重量化,从而产生更多的零权重并提高权重压缩比。此外,我们提出了一个新的\textit{inter-layer loss}消除非纹理位,这使我们能够更有效地存储只有纹理位。也就是说,所提出的损失正则化权重,使得相邻两层之间的并置权重具有相同的值。最后,我们提出了一个ILWP与层间损失和量化方法。综合实验结果表明,该方法在相同的精度水平下,与以往基于量化的深度神经网络压缩方法相比,具有更高的权重压缩率。
2020-08-20 cs.CV cs.LG stat.ML
Theoretical Properties for Neural Networks with Weight Matrices of Low Displacement Rank
Graduate Center of the City University of New York(纽约市立大学研究生中心);Lehman College and the Graduate Center of the City University of New York(纽约市立大学雷曼学院及研究生中心);City College of the City University of New York(纽约市立大学城市学院)
近年来,低位移秩(LDR)矩阵,或所谓的结构矩阵,已被提出来压缩大规模神经网络。经验结果表明,具有LDR矩阵的权重矩阵的神经网络(称为LDR神经网络)可以在保持高精度的同时实现空间和计算复杂性的显著减少。我们在深度学习中正式研究LDR矩阵。首先,我们证明了LDR神经网络的泛逼近性,并给出了位移算子的一个较弱的条件。然后,我们证明了LDR神经网络的误差界是有效的一般神经网络与单层和多层结构。最后,我们提出了基于反向传播的一般LDR神经网络的训练算法。
2017-09-22 cs.CV cs.LG stat.ML
Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Simon Fraser University(西蒙菲莎大学)
研究证明具有二次激活的浅层复神经网络无伪局部极小值,而相同条件下的实神经网络存在无限多个,复值权重能将差的局部极小值转化为鞍点。
2024-11-12 cs.LG stat.ML
What's Hidden in a Randomly Weighted Neural Network?
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
训练神经网络与学习权值是同义的。相比之下,我们证明了随机加权的神经网络包含子网络,这些子网络在没有训练权重值的情况下实现了令人印象深刻的性能。隐藏在随机加权的Wide ResNet-50中,我们发现有一个子网络(具有随机权重)比在ImageNet上训练的ResNet-34的性能更小,但与之匹配。这些“未经训练的子网络”不仅存在,而且我们提供了一种算法来有效地找到它们。我们的经验表明,随着具有固定权重的随机加权神经网络变得更宽更深,“未经训练的子网络”在准确性上接近具有学习权重的网络。我们的代码和预训练模型可以在https://github.com/allenai/hidden-networks上找到。
2020-03-31 cs.CV cs.LG
Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization
Plumerai Research(Plumerai研究院);Hong Kong University of Science and Technology(香港科技大学)
二值化神经网络(BNN)的优化目前依赖于实值潜在权重来累积小的更新步骤。在本文中,我们认为这些潜在权重不能与实值网络中的权重类似地对待。相反,它们的主要作用是在训练期间提供惯性。我们解释目前的方法的惯性,并提供新的见解BNN的优化。随后,我们介绍了第一个专门为BNN设计的优化器,二进制优化器(Bop),并在CIFAR-10和ImageNet上展示了它的性能。总之,将潜在权重重新定义为惯性和引入Bop使人们能够更好地理解BNN优化,并为进一步改进BNN的训练方法开辟了道路。代码可在:https://github.com/plumerai/rethinking-bnn-optimization
2019-11-06 cs.LG stat.ML
Weightless: Lossy Weight Encoding For Deep Neural Network Compression
Harvard University(哈佛大学)
深度神经网络的大存储器需求限制了它们在许多设备上的部署和采用。模型压缩方法通常通过应用诸如权重修剪或量化之类的变换来有效地减少这些模型的存储器需求。在本文中,我们提出了一种新的方案,有损重量编码,补充传统的压缩技术。编码基于Bloomier滤波器,这是一种概率数据结构,可以以引入随机错误为代价来节省空间。利用神经网络容忍这些缺陷的能力,并通过围绕错误进行重新训练,所提出的技术Weightless可以在相同的模型精度下将DNN权重压缩高达496倍。这导致与最先进技术相比提高了1.51倍。
2017-11-13 cs.LG stat.ML
Approximation error of single hidden layer neural networks with fixed weights
本文给出了具有两个固定权值的单隐层神经网络逼近误差的显式表达式。
2022-03-04 cs.LG math.CA stat.ML
DeepWeightFlow: Re-Basined Flow Matching for Generating Neural Network Weights
Northeastern University(东北大学)
本文提出DeepWeightFlow,通过在权重空间中直接生成多种架构和规模的神经网络权重,提升生成效率和准确性,无需微调且能处理大规模模型。
2026-04-30 cs.LG stat.ML
Neural networks with superexpressive activations and integer weights
给出了激活函数$σ$的一个例子,使得具有激活$\{σ, \lfloor\cdot\rfloor\}$、整数权重和取决于$d$的固定架构的网络近似于$[0,1]^d$上的连续函数。推导出$\varepsilon$ -Hölder连续函数逼近所需的整数权重范围,从而导致给定$n$样本的未知$β$ -Hölder连续函数的神经网络回归估计具有$n^{\frac{-2β}{2β+d}}\log_2n$阶收敛速度。
2021-05-29 cs.LG stat.ML
Projected BNNs: Avoiding weight-space pathologies by learning latent representations of neural network weights
Harvard University(哈佛大学);IBM Research(IBM研究院)
随着机器学习系统被广泛用于高风险决策,量化预测的不确定性变得至关重要。虽然现代神经网络在预测精度方面取得了显着的进步,但由于网络参数空间的高维性和复杂相关性,表征这些模型参数的不确定性是具有挑战性的。本文介绍了一种新的变分推理框架贝叶斯神经网络,(1)编码的复杂分布在高维参数空间中的低维潜在空间中的表示,(2)执行推理的低维表示。在大量的合成和真实世界的数据集,我们表明,我们的方法相比,直接在参数空间中工作的方法,提高了不确定性表征和模型的泛化。
2019-06-13 cs.LG stat.ML
Learning Digital Circuits: A Journey Through Weight Invariant Self-Pruning Neural Networks
Qubole India(Qubole印度)
最近,在论文“权重不可知神经网络“中,Gaier和Ha利用架构搜索来找到拓扑结构完全编码知识的网络。然而,在拓扑空间中搜索体系结构是昂贵的。我们使用现有的二值化网络的框架,通过将权重限制为零或一来找到高性能的拓扑。我们表明,这样的拓扑结构实现了类似于标准网络的性能,同时修剪超过99%的权重。我们进一步证明,这些拓扑结构可以执行任务,使用恒定的权重没有任何显式的调整。最后,我们发现,在我们的设置中,每个神经元都像一个“或非”门,实际上是在学习一个数字电路。我们证明了我们的方法在计算机视觉数据集上的有效性。
2020-05-03 cs.CV cs.LG cs.NE
A Channel-Pruned and Weight-Binarized Convolutional Neural Network for Keyword Spotting
UC Irvine(加州大学欧文分校);UC San Diego(加州大学圣地亚哥分校)
我们研究了结合权重二值化(1位权重精度)的通道数减少,以修剪用于关键字定位(分类)任务的卷积神经网络。我们采用了基于组Lasso惩罚的组分裂方法,以实现超过50%的信道稀疏性,同时保持网络性能在0.25%的准确性损失。我们展示了一个有效的三阶段过程来平衡网络训练的准确性和稀疏性。
2019-09-12 cs.LG stat.ML
Classifying the classifier: dissecting the weight space of neural networks
Linköping University(林雪平大学);Ulm University(乌尔姆大学)
本文对神经网络的权值进行了实证研究,将每个模型看作是一个高维空间--神经权值空间中的一个点。为了探索这个空间的复杂结构,我们从不同的训练变量(数据集,优化过程,架构等)中进行采样。的神经网络分类器,并训练大量的模型来表示的权重空间。然后,我们使用一种机器学习方法来分析和提取这个空间中的信息。最重要的是,我们训练了一些新的深度元分类器,其目标是通过识别它们在权重空间中的足迹来对训练设置的不同属性进行分类。因此,元分类器探测由超参数引起的模式,这样我们就可以量化这些模式在优化过程中被编码的数量、位置和时间。这为可解释的人工智能提供了一个新的和补充的观点,我们展示了元分类器如何通过只考虑随机选择的连续权重的一个小子集来揭示有关训练设置和优化的大量信息。为了促进对权重空间的进一步研究,我们发布了神经权重空间(NWS)数据集-来自16 K个单独训练的深度神经网络的320 K权重快照的集合。
2020-02-13 cs.CV cs.LG
Weight Uncertainty in Neural Networks
Google DeepMind(谷歌DeepMind)
我们介绍了一种新的,高效的,原则性和反向传播兼容的算法,用于学习神经网络的权重上的概率分布,称为贝叶斯反向传播。它通过最小化压缩成本来调整权重,压缩成本被称为变分自由能或边际似然的预期下限。我们表明,这种原则性的正则化产生相当的性能辍学MNIST分类。然后,我们演示了如何学习的权重的不确定性可以用来改善非线性回归问题的泛化,以及如何使用这种权重的不确定性来驱动强化学习中的探索-利用权衡。
2015-05-21 cs.LG stat.ML
Weight Agnostic Neural Networks
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);Google Brain(谷歌大脑)
并不是所有的神经网络架构都是平等的,对于某些任务,有些架构的性能要比其他架构好得多。但是,与神经网络的架构相比,它的权值参数有多重要呢?在这项工作中,我们的问题在多大程度上神经网络架构单独,没有学习任何权重参数,可以编码解决方案,为一个给定的任务。我们提出了一种搜索方法的神经网络架构,已经可以执行任务,没有任何显式的权重训练。为了评估这些网络,我们使用从均匀随机分布中采样的单个共享权重参数填充连接,并测量预期性能。我们证明了我们的方法可以找到最小的神经网络架构,可以执行几个强化学习任务,而无需权重训练。在监督学习领域,我们发现网络架构使用随机权重在MNIST上实现比机会精度高得多的精度。本文的互动版,网址:https://weightagnostic.github.io/
2019-09-05 cs.LG cs.NE stat.ML
On original and latent space connectivity in deep neural networks
Imperial College London(帝国理工学院)
本研究探讨深度神经网络中同类输入在原始或潜在空间是否存在连续路径,并证明在所有研究案例中此类路径均存在,对可解释性与鲁棒性有重要意义。
2023-11-12 cs.CV cs.LG
Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights
Uber AI(优步人工智能)
概率神经网络通常用独立的权重先验来建模,其不捕获先验中的权重相关性,并且不提供用于在函数空间中表达属性的简约接口。一个理想的先验类别将表示权重的复杂性,捕获权重之间的相关性,促进关于不确定性的校准推理,并允许包含关于函数空间的先验知识,例如周期性或对上下文(如输入)的依赖性。为此,本文介绍了两个创新:(i)一个基于高斯过程的分层模型的网络权重的基础上,可以灵活地编码相关的权重结构的单元嵌入,以及(ii)这些权重先验的输入依赖版本,可以提供方便的方法来正则化的功能空间,通过使用定义在上下文输入的内核。我们表明,这些模型提供了理想的测试时间的不确定性估计的分布数据,演示的情况下,建模的神经网络与内核,这有助于从训练数据的内插和外推的诱导偏差,并展示竞争力的预测性能的主动学习基准。
2020-02-10 cs.LG stat.ML
MLDS: A Dataset for Weight-Space Analysis of Neural Networks
UMBC(马里兰大学巴尔的摩县分校)
神经网络是解决各种复杂现实问题的强大模型。然而,训练的随机性和典型神经模型中的大量参数使得它们难以通过检查进行评估。研究表明,这种不透明性可以隐藏潜在的不良行为,无论是来自代表性差的训练数据还是通过恶意意图来破坏网络的行为,并且这种行为很难通过传统的间接评估标准(如损失)来检测。因此,现在是时候探索通过其结构和权重来评估训练好的神经模型的直接方法了。在本文中,我们提出了MLDS,一个新的数据集,由数千个经过训练的神经网络精心控制的参数,并通过全球志愿者为基础的分布式计算平台生成。该数据集使我们能够对模型到模型和模型到训练数据的关系有新的见解。我们使用这个数据集来显示具有相同训练数据的权重空间中的模型的聚类,以及即使对训练数据进行很小的更改也会在权重空间中产生有意义的发散,这表明权重空间分析是评估神经网络的一种可行且有效的损失替代方案。
2021-04-21 cs.LG stat.ML
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Simultaneously Optimizing Weight and Quantizer of Ternary Neural Network using Truncated Gaussian Approximation
University of Central Florida(中佛罗里达大学)
在过去的几年里,深度卷积神经网络在许多人工智能应用中取得了巨大的成功。然而,其庞大的模型规模和庞大的计算成本已经成为部署这种强大的算法在低功耗和资源有限的移动系统的主要障碍。作为该问题的对策,已经广泛探索了具有三值化权重(即,-1,0,+1)的深度神经网络,以极大地减小模型大小和计算成本,并且精度降低有限。在这项工作中,我们提出了一种新的三端化的神经网络训练方法,同时优化的权重和量化器在训练过程中,区别于以往的作品。而不是固定和统一的权重三进制化,我们是第一个将权重三进制化的阈值纳入一个封闭的形式表示使用截断高斯近似,使权重和量化器的同时优化,通过反向传播训练。在第一层和最后一层都被三进制化的情况下,ImageNet分类任务的实验表明,与全精度对应物相比,我们三进制化的ResNet-18/34/50的准确率仅下降了3.9/2.52/2.16%。
2018-10-02 cs.LG stat.ML
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences(阿塞拜疆国家科学院控制系统研究所)
本文对比了多层感知器在预计算权重与随机初始化权重下的表现,发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院)
深度神经网络的无限宽度限制通常具有易于处理的形式。它们已被用来分析有限网络的行为,以及在自己的权利是有用的方法。在研究无限宽卷积神经网络(CNN)时,观察到空间权重共享产生的相关性在无限极限中消失。这是不可取的,因为空间相关性是CNN背后的主要动机。我们表明,这个属性的损失是不是一个后果的无限的限制,而是选择一个独立的权重先验。关联权重保持激活中的相关性。改变独立权重限制和均值池之间的相关性插值量。对无限宽网络的经验评估表明,在极端之间实现了最佳性能,这表明相关性是有用的。
2021-06-13 cs.LG stat.ML
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego(加州大学圣地亚哥分校)
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而,修剪通常仅应用于网络的权重。在这项工作中,我们联合应用新的均匀量化和非结构化修剪方法,在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法,我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例,并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察,我们提出了非交换性假设:对于一个为特定任务训练的给定深度神经网络,存在一个精确的训练时间表,其中可以引入量化和修剪来优化网络性能。我们确定,这种最佳顺序不仅存在,而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划,我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Variance-Aware Weight Initialization for Point Convolutional Neural Networks
Ulm University(乌尔姆大学);University College London(伦敦大学学院)
合适的权值初始化是成功训练神经网络的关键。最近,批量归一化通过简单地基于批量统计数据对每一层进行归一化来减少权重初始化的作用。不幸的是,当应用于小批量时,批量归一化有几个缺点,因为在点云上学习时需要它们来应对内存限制。虽然有根据的权重初始化策略可以使批量归一化变得不必要,从而避免这些缺点,但对于点卷积网络还没有提出这样的方法。为了填补这一空白,我们提出了一个框架来统一众多的连续卷积。这使得我们的主要贡献,方差感知权重初始化。我们表明,这种初始化可以避免批量归一化,同时实现类似的,在某些情况下,更好的性能。
2022-08-01 cs.CV cs.LG
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
提出了一种新的残差卷积神经网络(CNN)结构,用于单幅图像的深度估计。与现有的基于深度CNN的方法相比,我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积,跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明,我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Compressibility Loss for Neural Network Weights
Nokia Technologies(诺基亚科技)
在本文中,我们应用了压缩性损失,使学习高度可压缩的神经网络的权重。以前提出的损失作为一个信号的否定稀疏性的措施,但在本文中,我们表明,最大限度地减少这种损失也强制信号的非零部分具有非常低的熵,从而使整个信号更可压缩。对于一个优化问题的目标是最小化的压缩性损失(目标),我们证明了在任何临界点的目标,权重向量是一个三元信号和相应的值的目标是在信号中的非零元素的数量的平方根,从而直接相关的稀疏性。在实验中,我们训练神经网络的压缩损失,我们表明,该方法实现的重量稀疏性和压缩比与国家的最先进的。
2019-05-03 cs.LG stat.ML
Detecting Statistical Interactions from Neural Network Weights
University of Southern California(南加州大学)
解释神经网络是机器学习中一项至关重要且具有挑战性的任务。在本文中,我们开发了一种新的框架,用于检测前馈多层神经网络捕获的统计相互作用,直接解释其学习的权重。根据所需的相互作用,我们的方法可以实现显着更好的或类似的相互作用检测性能相比,国家的最先进的,而无需搜索可能的相互作用的指数解空间。我们通过观察输入特征之间的相互作用是由非线性激活函数的非加性效应产生的,并且相互作用的路径被编码在权重矩阵中,来获得这种准确性和效率。我们证明了我们的方法的性能和发现的相互作用的重要性,通过在合成数据集和现实世界的应用程序数据集上的实验结果。
2018-02-27 cs.LG stat.ML
On the Adversarial Robustness of Neural Networks without Weight Transport
University of Toronto(多伦多大学);Triage
用反向传播训练的神经网络是使用权重传输的深度学习的标准算法,很容易被现有的基于梯度的对抗攻击愚弄。这类攻击是基于输入的某些小扰动,使网络错误分类它们。我们发现,用反馈对齐训练的生物学上不太难以置信的深度神经网络,不使用权重传输,可以更难被愚弄,提供实际的鲁棒性。在MNIST上进行测试,没有权重传输的深度神经网络(1)具有98%的对抗准确率,而使用反向传播训练的神经网络的准确率为0.03%,(2)生成不可转移的对抗示例。然而,这个差距减少CIFAR-10,但仍然是显着的,特别是小扰动幅度小于1/2。
2019-10-03 cs.CR cs.LG stat.ML
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations
City University of Hong Kong(香港城市大学)
在神经网络中,使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中,我们证明了一族正则化器,包括权重衰减,对于具有正齐次激活函数(如线性,ReLU和最大池函数)的网络,在惩罚权重的内在范数方面是无效的。作为同质性的结果,由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感,因此不能很好地正则化模型容量,导致过拟合。为了解决这个缺点,我们提出了一种改进的正则化,是不变的重量尺度的变化,从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界,因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限,这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。
2022-06-08 cs.LG stat.ML
Prediction intervals for neural network models using weighted asymmetric loss functions
Humboldt University of Berlin(柏林洪堡大学);Savvie AS;University of Essex(埃塞克斯大学)
本研究提出一种利用加权非对称损失函数生成神经网络预测区间的高效方法,经数学证明与真实任务测试,可在复杂场景中生成可靠的预测区间。
2023-07-18 cs.LG stat.ML
Learning Invariant Weights in Neural Networks
Imperial College London(帝国理工学院)
关于数据不变性或对称性的假设可以显著提高统计模型的预测能力。机器学习中的许多常用模型都受到约束,以尊重数据中的某些对称性,例如卷积神经网络中的平移等方差,并且正在积极研究新对称类型的合并。然而,从数据本身学习这种不变性的努力仍然是一个开放的研究问题。已经表明,边际似然提供了一种原则性的方法来学习高斯过程中的不变性。我们提出了一个权重空间等效于这种方法,通过最小化的边际似然的下限,学习不变性的神经网络自然导致更高的性能模型。
2022-08-02 cs.LG stat.ML
Efficient single input-output layer spiking neural classifier with time-varying weight model
Nanyang Technological University(南洋理工大学);Indian Institute of Science, Bangalore(班加罗尔印度科学学院)
针对具有时变权值模型的脉冲神经网络,提出了一种有监督学习算法,即基于元神经元的突触功效函数学习算法(SEF-M)。对于给定的模式,SEF-M使用从基于元神经元的学习算法导出的学习算法来确定与每个突触前尖峰时间相对应的权重的变化。权重的变化调制以相同的突触前尖峰时间为中心的高斯函数的振幅。振幅调制高斯函数的总和表示突触功效函数(或时变权重模型)。SEF-M的性能进行了评估,对国家的最先进的脉冲神经网络学习算法的10个基准数据集从UCI机器学习库。性能研究表明,优越的推广能力SEF-M。利用JAFFE数据集对时变权重模型进行了消融研究。消融研究的结果表明,使用时变权重模型,而不是单一的权重模型,提高了14%的分类精度。因此,可以推断,具有时变权重模型的单输入-输出层脉冲神经网络在计算上比具有长期或短期权重模型的多层脉冲神经网络更有效。
2019-03-21 cs.LG cs.NE stat.ML
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外,有民间传说,量化作为一个隐式正则化,从而可以提高神经网络的泛化能力,但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量,研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播,它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核(NTK),并证明了NTK的特征值近似以指数速率衰减,这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明,再生核希尔伯特空间(RKHS)的二进制权重神经网络覆盖一个严格的子集的功能相比,一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外,二值权值神经网络与实值权值神经网络相比,给出了更小的泛化间隙,这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
A Generative Model for Sampling High-Performance and Diverse Weights for Neural Networks
UCLA(加州大学洛杉矶分校)
最近关于深度神经网络的损失景观中的模式连通性的工作已经证明,(次)最优权重向量的轨迹位于连续路径上。在这项工作中,我们训练一个神经网络,作为一个超网络,映射到高性能(低损耗)的权重向量的潜在向量,推广最近的研究结果的模式连接到高维流形。我们将训练目标制定为准确性和多样性之间的折衷,其中多样性考虑了目标网络的平凡对称变换。我们演示了如何减少参数共享的超网络中的参数的数量。一旦学会,超网络允许计算效率,神经网络权重的祖先采样,我们招募这些权重来形成大的集合。分类精度的提高,通过这种集成表明,所产生的流形延伸的尺寸以外的平凡对称性所暗示的方向。为了提高计算效率,我们将集成提取到单个分类器中,同时保留泛化。
2019-05-07 cs.LG stat.ML
Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization
Hailo Technologies(海洛科技)
由于需要在嵌入式设备上高效实现深度神经网络,神经网络的量化已成为常见做法。在本文中,我们利用了大多数网络中经常被忽视的自由度-对于给定的层,单个输出通道可以通过任何因子进行缩放,前提是下一层的相应权重被逆缩放。因此,一个给定的网络有许多因子分解,这些因子分解改变了网络的权重,而不改变其功能。我们提出了一个概念上简单,易于实现的方法,使用此属性,并表明适当的因式分解显着降低量化所造成的退化。我们在各种各样的网络上表现出改进,并为MobileNets实现了最先进的降级结果。虽然我们的重点是量化,但这种类型的因式分解也适用于其他领域,如网络修剪,神经网络正则化和网络可解释性。
2019-02-05 cs.LG stat.ML
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion
Technical University of Munich(慕尼黑工业大学);Apple(苹果公司)
隐式神经场,通常由多层感知器(MLP)编码,该多层感知器(MLP)从坐标(例如,xyz)到信号(例如,符号距离),已经显示出作为高保真和紧凑表示的显著前景。然而,缺乏规则和显式的网格结构也使得直接在隐式神经场上应用生成建模以合成新数据具有挑战性。为此,我们提出了超扩散,一种新的方法,无条件生成的隐式神经场建模。HyperDiffusion直接对MLP权重进行操作,并生成由合成MLP参数编码的新神经隐式字段。具体而言,首先优化MLP的集合以忠实地表示各个数据样本。随后,在该MLP权重空间中训练扩散过程,以对神经隐场的底层分布进行建模。HyperDiffusion支持在一个统一的框架内,通过隐式、紧凑且高保真的方式,对3D形状和4D网格动画中的复杂信号进行扩散建模。
2023-03-29 cs.CV cs.LG
On weight initialization in deep neural networks
在神经网络中,权值的正确初始化对网络的收敛性至关重要。目前对权重初始化的认识主要来自线性激活函数。在本文中,我开发了一个理论的重量初始化与非线性激活。首先,我推导出一个一般的权重初始化策略,任何神经网络使用激活函数可微0。接下来,我推导出了整流线性单元(RECTIFITED LINEAR UNIT)的权重初始化策略,并从理论上解释了为什么Xavier初始化对于RECTIFITED LINEAR UNIT激活是一个糟糕的选择。我的分析提供了一个明确的示范作用的非线性确定适当的权重初始化。
2017-05-02 cs.LG
On the Effectiveness of Random Weights in Graph Neural Networks
Purdue University(普渡大学);University of Cambridge(剑桥大学)
本文证明在GNNs中用随机权重替代可学习权重,能在保持预测能力的同时大幅减少训练时间与内存,缓解特征秩坍缩问题,为GNN设计与训练提供了轻量高效的替代方案。
2025-01-31 cs.LG stat.ML
Almost Sure Asymptotic Freeness of Neural Network Jacobian with Orthogonal Weights
良好的雅可比谱在防止梯度爆炸或消失以及加速深度神经网络的学习方面起着至关重要的作用。自由概率论有助于我们理解和处理雅可比谱。我们严格地证明了深度神经网络的分层雅可比矩阵的几乎必然渐近自由性作为宽极限。特别地,我们将权重初始化为Haar分布的正交矩阵的情况处理。
2020-02-12 cs.LG math.PR stat.ML