Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
提出了一种权值相似性度量方法,可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性,我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值,该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法,研究了多层感知器(MLP)、卷积神经网络(CNN)和递归神经网络(RNN)的权值相似性度量,发现用随机梯度下降(SGD)算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Feature Weight Tuning for Recursive Neural Networks
Stanford University(斯坦福大学)
本文讨论了如何递归神经网络模型可以自动遗漏无用的信息,并强调重要的证据,换句话说,执行“权重调整”更高层次的表示收购。我们提出了两个模型,加权神经网络(WNN)和二进制期望神经网络(BENN),自动控制有多少一个特定的单元有助于更高层次的表示。所提出的模型可以被看作是一个更强大的组合函数嵌入采集递归神经网络。实验结果表明,显着改善标准的神经模型。
2014-12-13 cs.AI cs.CL cs.LG
How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks
University of Liverpool(利物浦大学);State Key Laboratory of Computer Science, Institute of Software, CAS(中国科学院软件研究所计算机科学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Intellegence Software, Guangzhou(广州智能软件研究所)
本文研究了深度神经网络中权重相关性的新概念,并讨论了其对网络泛化能力的影响。对于全连接层,权重相关性被定义为神经元权重向量之间的平均余弦相似性,对于卷积层,权重相关性被定义为滤波器矩阵之间的余弦相似性。从理论上讲,我们表明,权重相关性可以,而且应该,被纳入到PAC贝叶斯框架的泛化的神经网络,由此产生的泛化界是单调的权重相关性。我们制定了一个新的复杂性的措施,提升PAC贝叶斯测量与权重相关性,并通过实验证实,它是能够排名的泛化错误的一组网络比现有的措施更精确。更重要的是,我们开发了一种新的正则化器用于训练,并提供了大量的实验,表明我们的新方法可以大大减少泛化误差。
2020-10-17 cs.AI cs.LG
Probabilistic Weight Fixing: Large-scale training of neural network weight uncertainties for quantization
School of Electronics & Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
针对现有权重量化共享方法忽略权重位置作用的问题,提出基于贝叶斯神经网络的概率框架与变分松弛方法,结合新初始化设置和正则化项,提升了模型抗噪性与可压缩性,在多个架构上准确率和压缩效果均优于现有最优方法。
2023-10-03 cs.AI cs.LG
Optimizing Neural Network Weights using Nature-Inspired Algorithms
University of Regina(里贾纳大学)
本研究旨在使用自然启发的优化算法优化深度前馈神经网络(DFNN)训练,如PSO,MTO及其变体MTOCL。我们展示了这些算法在从数据中学习时如何有效地更新DFNN的权重。我们使用三个威斯康星州的乳腺癌数据集,原始,诊断和预后,在不同的实验方案下,DFNN融合优化算法的性能进行评估。实证分析表明,MTOCL是最好的表现在大多数情况下,在三个数据集。此外,MTOCL与过去的原始数据集的权重优化算法相当,并且优于其他数据集,特别是对于具有挑战性的预后数据集。
2021-05-20 cs.AI cs.LG
Slot Machines: Discovering Winning Combinations of Random Weights in Neural Networks
Dartmouth College(达特茅斯学院)
与连续空间中的传统权重优化相比,我们证明了有效随机网络的存在性,其权重永远不会更新。通过为每个单独的连接在一组固定的随机值中选择权重,我们的方法揭示了与相同容量的传统训练网络的性能相匹配的随机权重组合。我们将我们的网络称为“老虎机”,其中每个卷轴(连接)包含一组固定的符号(随机值)。我们的反向传播算法“旋转”卷轴以寻找“获胜”组合,即,选择随机权重值,使给定损失最小化。非常令人惊讶的是,我们发现只为每个连接分配一些随机值(例如,每个连接8个值)产生了高度竞争性的组合,尽管与传统学习的权重相比受到了更大的限制。此外,对这些组合进行微调通常会提高训练基线的性能。一个随机初始化的VGG-19,每个连接有8个值,包含一个在CIFAR-10上达到91%测试准确度的组合。我们的方法也取得了令人印象深刻的性能98.2%的MNIST神经网络只包含随机权重。
2021-06-08 cs.AI cs.LG
Process mining classification with a weightless neural network
Federal Centre for Engineering Studies and Technological Education - CEFET/RJ(联邦工程与技术教育中心 - CEFET/RJ)
使用一个轻量级的神经网络架构WiSARD,我们提出了一个简单的图形视网膜编码表示业务流程图流避免内核,我们提出了WiSARD如何优于分类性能与小训练集的过程挖掘上下文中。
2020-09-25 cs.AI
Neural networks with late-phase weights
Institute of Neuroinformatics(神经信息学研究所);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
训练神经网络的最成功的方法是使用随机梯度下降(SGD)的某种变体来学习它们的权重。在这里,我们证明了SGD找到的解决方案可以通过在学习的后期阶段集成权重的子集来进一步改进。在学习结束时,我们通过在权重空间中取空间平均来获得单个模型。为了避免增加计算成本,我们研究了一个家庭的低维后期的权重模型与其余参数的乘法相互作用。我们的研究结果表明,在CIFAR-10/100、ImageNet和enwik 8等已建立的基准测试中,使用后期权重增强标准模型可以提高泛化能力。这些发现的补充与嘈杂的二次问题,它提供了一个简化的图片后期阶段的神经网络学习的理论分析。
2022-04-11 cs.CV cs.LG stat.ML
Computed Decision Weights and a New Learning Algorithm for Neural Classifiers
University of California at Berkeley(加州大学伯克利分校)
在本文中,我们考虑的可能性计算,而不是训练的神经分类器的决策层权重。这种可能性产生在两个方面,从作出适当的选择损失函数和通过解决一个问题的约束优化。后一种配方导致一个有前途的新的学习过程中的预决策权重既简单又有效。
2022-09-17 cs.LG stat.ML
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University(塔夫茨大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
神经科学界的一个共同观点是,记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中,我们提出了一个原型的无重量脉冲神经网络,可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中,而不是连接的强度,并且使用Hebbian Spike Timing Dependent Plasticity(STDP)进行训练,该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
Temporal-adaptive Weight Quantization for Spiking Neural Networks
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Institute of Computing and Intelligence (ICI), Harbin Institute of Technology(哈尔滨工业大学计算机与智能信息学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出了一种基于时空动态的权重量化方法TaWQ,用于提升脉冲神经网络的能效,同时保持高精度。
2025-11-14 cs.AI cs.CV cs.NE
Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware
Independent Researcher Sweden
针对相变存储器模拟硬件部署难题,提出结合专用量化与双交叉开关权重自校正机制的方法,在 aihwkit 中验证其可达到模拟感知训练模型的性能。
2023-09-30 cs.AI cs.LG cs.NE
Quantized Sparse Weight Decomposition for Neural Network Compression
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
本文介绍了一种新的神经网络权值压缩方法。在我们的方法中,我们将权重张量存储为稀疏的量化矩阵因子,其乘积在推理过程中动态计算以生成目标模型的权重。我们使用投影梯度下降方法来找到量化和稀疏分解的权重张量。我们表明,这种方法可以被看作是一个统一的权重SVD,矢量量化,稀疏PCA。结合端到端的微调,我们的方法在准确性和模型大小之间的权衡方面超过或等同于以前的最先进的方法。我们的方法是适用于温和的压缩制度,不像矢量量化,和极端的压缩制度。
2022-07-22 cs.LG
A Bayesian approach for initialization of weights in backpropagation neural net with application to character recognition
University of Turin(都灵大学)
权值的初始化严重影响神经网络训练算法的收敛速度。本文提出了一种新颖的反向传播神经网络权值初始化算法,并将其应用于字符识别。初始化方法主要基于卡尔曼滤波器的定制,将其转换为贝叶斯统计术语。在这种情况下,考虑权重作为相互依赖的正态随机变量建模的测量值,使用一种新的方法。算法的性能证明了报告和讨论的模拟试验的结果。并与随机权值初始化等方法进行了比较。所提出的方法显示了一个改进的收敛速度的反向传播训练算法。
2020-04-04 cs.LG stat.ML
Iterative Neural Networks with Bounded Weights
Nicolaus Copernicus University(尼古拉·哥白尼大学)
最近对Hilbert空间中迭代神经网络模型的分析建立了这种网络的基本性质,如不动点集的存在性,收敛性分析和Lipschitz连续性。基于这些结果,我们证明了在一个单一的温和的条件下,对网络的权重,保证获得一个神经网络收敛到其唯一的不动点。我们提供了一个约束的范数的权重和偏置的网络。我们还表明,为什么这个模型的前馈神经网络是不能够容纳Hopfield网络在我们的假设。
2019-08-19 cs.LG math.FA stat.ML
Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Purdue University(普渡大学)
本文提出了一种基于范数的$L_{p,q}$权重归一化深度神经网络容量控制的一般框架。我们建立了这个家庭的Rademacher复杂性的上界。与$L_{p,q}$规范化,其中$q\le p^*$,和$1/p+1/p^{*}=1$,我们讨论的宽度无关的容量控制,它只依赖于深度的平方根项的属性。我们进一步分析了$L_{p,q}$权值归一化深度神经网络的逼近性质。特别地,对于$L_{1,\infty}$权重归一化网络,近似误差可以由输出层的$L_1$范数控制,并且相应的泛化误差仅取决于深度的平方根的架构。
2018-11-28 cs.LG stat.ML
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University(乌普萨拉大学)
在本文中,我们证明了,在深度极限,ResNet型深度神经网络,其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降,以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下,我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Comparing heterogeneous entities using artificial neural networks of trainable weighted structural components and machine-learned activation functions
Vody LLC(Vody有限责任公司)
为了比较不同类型的实体和结构组件,使用人工神经网络范例来交叉比较异构文档之间的结构组件。将可训练的加权结构分量输入到神经元的机器学习激活函数中。该模型用于匹配新闻文章和视频,其中输入和激活函数分别由词向量和加权结构分量之间的余弦相似性度量组成。该模型以不同的权重进行了测试,将视频与新闻文章匹配的准确率高达59.2%。开发了一个用于为新闻文章推荐相关视频的移动应用程序用户界面,以展示消费者价值,包括其对交叉销售不相关类别产品的潜在有用性。
2018-01-09 cs.AI cs.IR cs.LG
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology(麻省理工学院)
最近的工作已经研究了在神经切线核(NTK)制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多,我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论,我们从理论上证明了梯度下降驱动分层权重更新,这些更新与由误差加权的输入活动相关性一致,并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机,反向传播自由学习规则,理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则,并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度,这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
Enhancing the Regularization Effect of Weight Pruning in Artificial Neural Networks
Florida State University(佛罗里达州立大学)
人工神经网络(ANN)在用于移动电话或嵌入式设备时可能不值得其计算/存储器成本。参数修剪算法可以降低这些成本,一些算法能够在不损害ANN性能的情况下去除ANN的90%以上的权重。从ANN中去除权重是一种正则化形式,但现有的修剪算法并不能显着改善泛化误差。我们表明,修剪人工神经网络可以提高泛化,如果修剪的目标是大的权重,而不是小的权重。将我们的修剪算法应用到ANN中,会导致CIFAR-10数据上的图像分类精度比应用流行的正则化丢弃更高。修剪将这种更高的准确性与ANN参数计数减少85%相结合。
2018-05-04 cs.LG stat.ML
Binary Weighted Memristive Analog Deep Neural Network for Near-Sensor Edge Processing
Nazarbayev University(纳扎尔巴耶夫大学)
忆阻交叉开关旨在实现模拟加权神经网络,然而,由于忆阻器件的有限切换状态,这种交叉开关阵列的现实实现是不可能的。在这项工作中,我们提出了一个模拟深度神经网络的设计与二进制权重更新通过反向传播算法使用二进制状态忆阻器件。我们表明,这样的网络可以成功地用于图像处理任务,并具有较低的功耗和小的片上面积与数字同行相比的优势。建议的网络基准MNIST手写数字识别达到约90%的准确率。
2018-08-02 cs.AI cs.ET cs.NE
RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks
我们提出了RSO(随机搜索优化),一种基于梯度自由马尔可夫链蒙特卡罗搜索的方法,用于训练深度神经网络。为此,RSO向深度神经网络中的权重添加扰动,并测试它是否减少了小批量的损失。如果这减少了损失,则更新权重,否则保留现有权重。令人惊讶的是,我们发现对每个权重重复这个过程几次就足以训练深度神经网络。与SGD的反向传播相比,RSO的权重更新数量要少一个数量级。RSO可以在每个步骤中进行积极的权重更新,因为没有学习率的概念。各个层的权重更新步骤也不与损失的幅度相耦合。RSO在MNIST和CIFAR-10数据集上的分类任务上进行了评估,深度神经网络为6到10层,准确率分别为99.1%和81.8%。我们还发现,更新后的权重只有5次,该算法获得了98%的分类准确率MNIST。
2020-05-12 cs.LG stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Mining the Weights Knowledge for Optimizing Neural Network Structures
嵌入在人工神经网络的权重中的知识可用于改进网络结构,例如在网络压缩中。但是,这些知识是手工建立的,可能不太准确,相关信息可能会被忽略。受哺乳动物大脑学习机制的启发,本文将神经网络权值中包含的知识挖掘出来,用于结构的自动学习。我们引入了一个切换器神经网络(SNN),它使用特定于任务的神经网络(简称TNN)的权重作为输入。通过挖掘包含在权重中的知识,SNN输出用于关闭和加权TNN中的神经元的缩放因子。为了同时优化TNN的结构和参数,采用随机梯度下降算法在TNN相同的性能评估下交替学习SNN和TNN。我们在分类应用中广泛使用的数据集和流行的网络上测试了我们的方法。在准确性方面,我们稳定而显著地优于基线网络和其他结构学习方法。同时,我们压缩基线网络,而不引入任何稀疏归纳机制,特别是我们的方法,在处理更简单的基线或更困难的任务时,会导致较低的压缩率。这些结果表明,我们的方法可以产生一个更合理的结构。
2021-10-11 cs.LG cs.NE
Experiment on creating a neural network with weights determined by the potential of a simulated electrostatic field
Institute of Control Systems(控制系统研究所)
本文提出一种无需训练即可构建神经网络的方法,通过在 Builder C++ 中模拟静电场,用电势直接确定第一层神经元权重,并在 MNIST 上验证了其功能可行性。
2025-06-26 cs.AI cs.NE
Guess My Weight: Profiled Side-Channel Recovery of Floating-Point Neural-Network Weights
Slovak University of Technology(斯洛伐克工业大学);Indian Institute of Technology Bhilai(印度理工学院比莱分校);TTControl GmbH(TTControl有限公司)
针对嵌入式设备上浮点神经网络权重,提出基于轮廓的模板攻击,利用功耗泄漏逐位恢复IEEE-754单精度权重,在ChipWhisperer-Lite上达到99%以上的精确恢复成功率。
2026-10-06 cs.AI cs.CR
SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network
Texas A&M University(德克萨斯农工大学);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Mind, and Machines(脑、心智与机器中心)
本文从理论和实验上证明小批量SGD配合权重衰减会诱导神经网络权重矩阵趋向低秩,且该偏差随批量减小、学习率增大或权重衰减增强而更明显,但对测试性能影响很小。
2024-10-18 cs.LG stat.ML
Recursive querying of neural networks via weighted structures
RWTH Aachen University(亚琛工业大学);Hasselt University(哈塞尔特大学)
本文提出了一种基于加权结构的递归查询方法,用于神经网络的验证与解释,展示了其在多项式时间内表达模型无关查询的能力,并证明了简单查询的计算复杂性。
2026-01-06 cs.AI cs.DB cs.LO
Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data
University of California, Irvine(加州大学欧文分校);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们研究了梯度下降的动态学习神经网络分类问题。与现有的工作不同,我们考虑线性不可分的情况下,不同类别的训练数据位于正交子空间。我们表明,当网络有足够的(但不是非常大)数量的神经元,(1)相应的最小化问题有一个理想的景观,所有的临界点是完美的分类的全局极小值;(2)梯度下降是保证收敛到全局极小值。此外,我们发现了一个几何条件的网络权重,以便当它被满足时,权重的演变过渡到一个缓慢的阶段的权重方向扩散到一个快速阶段的权重收敛。几何条件是指投影在单位球面上的权值的凸包包含原点。
2020-12-10 cs.LG math.OC stat.ML
What's Hidden in a Randomly Weighted Neural Network?
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
训练神经网络与学习权值是同义的。相比之下,我们证明了随机加权的神经网络包含子网络,这些子网络在没有训练权重值的情况下实现了令人印象深刻的性能。隐藏在随机加权的Wide ResNet-50中,我们发现有一个子网络(具有随机权重)比在ImageNet上训练的ResNet-34的性能更小,但与之匹配。这些“未经训练的子网络”不仅存在,而且我们提供了一种算法来有效地找到它们。我们的经验表明,随着具有固定权重的随机加权神经网络变得更宽更深,“未经训练的子网络”在准确性上接近具有学习权重的网络。我们的代码和预训练模型可以在https://github.com/allenai/hidden-networks上找到。
2020-03-31 cs.CV cs.LG
Classifying the classifier: dissecting the weight space of neural networks
Linköping University(林雪平大学);Ulm University(乌尔姆大学)
本文对神经网络的权值进行了实证研究,将每个模型看作是一个高维空间--神经权值空间中的一个点。为了探索这个空间的复杂结构,我们从不同的训练变量(数据集,优化过程,架构等)中进行采样。的神经网络分类器,并训练大量的模型来表示的权重空间。然后,我们使用一种机器学习方法来分析和提取这个空间中的信息。最重要的是,我们训练了一些新的深度元分类器,其目标是通过识别它们在权重空间中的足迹来对训练设置的不同属性进行分类。因此,元分类器探测由超参数引起的模式,这样我们就可以量化这些模式在优化过程中被编码的数量、位置和时间。这为可解释的人工智能提供了一个新的和补充的观点,我们展示了元分类器如何通过只考虑随机选择的连续权重的一个小子集来揭示有关训练设置和优化的大量信息。为了促进对权重空间的进一步研究,我们发布了神经权重空间(NWS)数据集-来自16 K个单独训练的深度神经网络的320 K权重快照的集合。
2020-02-13 cs.CV cs.LG
Neural Networks in Adversarial Setting and Ill-Conditioned Weight Space
Adobe Systems Inc(奥多比系统公司)
最近,神经网络由于其在各种任务上提供高精度的能力而在其采用中出现了巨大的激增。另一方面,对抗性例子的存在引起了人们对神经网络泛化能力的怀疑。在这项工作中,我们专注于学习的神经网络的权重矩阵,并假设病态的权重矩阵是神经网络的易感性对抗性的例子的贡献因素之一。为了保证学习的权矩阵的条件数保持足够低,我们建议使用正交正则化。我们表明,这确实有助于提高MNIST和F-MNIST数据集的对抗准确性。
2018-01-03 cs.CV cs.LG stat.ML
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego(加州大学圣地亚哥分校)
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而,修剪通常仅应用于网络的权重。在这项工作中,我们联合应用新的均匀量化和非结构化修剪方法,在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法,我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例,并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察,我们提出了非交换性假设:对于一个为特定任务训练的给定深度神经网络,存在一个精确的训练时间表,其中可以引入量化和修剪来优化网络性能。我们确定,这种最佳顺序不仅存在,而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划,我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness
Michigan State University(密歇根州立大学);Argonne National Laboratory(阿贡国家实验室);Brookhaven National Laboratory(布鲁克海文国家实验室)
具有精确校准的不确定性的鲁棒机器学习模型对于安全关键型应用至关重要。概率机器学习,特别是贝叶斯形式主义提供了一个系统的框架,通过分布估计和不确定性的原因,将鲁棒性。最近的工作表明,近似推理的方法,采取神经网络的权重空间的不确定性,以产生集成预测是最先进的。然而,架构的选择大多是临时的,这基本上忽略了认知的不确定性,从架构空间。为此,我们提出了一个统一的概率架构和权重集成神经架构搜索(UraeNAS),利用概率神经架构搜索和近似贝叶斯推理的进步,以生成集成形式的联合分布的神经网络架构和权重。与基线确定性方法相比,所提出的方法显示出分布内(准确度为0.86%,ECE为42%)CIFAR-10和分布外(准确度为2.43%,ECE为30%)CIFAR-10-C的显著改善。
2022-10-08 cs.AI cs.LG
Variance-Aware Weight Initialization for Point Convolutional Neural Networks
Ulm University(乌尔姆大学);University College London(伦敦大学学院)
合适的权值初始化是成功训练神经网络的关键。最近,批量归一化通过简单地基于批量统计数据对每一层进行归一化来减少权重初始化的作用。不幸的是,当应用于小批量时,批量归一化有几个缺点,因为在点云上学习时需要它们来应对内存限制。虽然有根据的权重初始化策略可以使批量归一化变得不必要,从而避免这些缺点,但对于点卷积网络还没有提出这样的方法。为了填补这一空白,我们提出了一个框架来统一众多的连续卷积。这使得我们的主要贡献,方差感知权重初始化。我们表明,这种初始化可以避免批量归一化,同时实现类似的,在某些情况下,更好的性能。
2022-08-01 cs.CV cs.LG
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
提出了一种新的残差卷积神经网络(CNN)结构,用于单幅图像的深度估计。与现有的基于深度CNN的方法相比,我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积,跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明,我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Neural Functional Transformers
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出神经函数变换器,利用注意力机制构建置换等变权重空间层,匹配或超越现有方法,并开发Inr2Array将INR分类准确率提升高达17%。
2023-05-22 cs.AI cs.LG
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外,有民间传说,量化作为一个隐式正则化,从而可以提高神经网络的泛化能力,但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量,研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播,它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核(NTK),并证明了NTK的特征值近似以指数速率衰减,这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明,再生核希尔伯特空间(RKHS)的二进制权重神经网络覆盖一个严格的子集的功能相比,一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外,二值权值神经网络与实值权值神经网络相比,给出了更小的泛化间隙,这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion
Technical University of Munich(慕尼黑工业大学);Apple(苹果公司)
隐式神经场,通常由多层感知器(MLP)编码,该多层感知器(MLP)从坐标(例如,xyz)到信号(例如,符号距离),已经显示出作为高保真和紧凑表示的显著前景。然而,缺乏规则和显式的网格结构也使得直接在隐式神经场上应用生成建模以合成新数据具有挑战性。为此,我们提出了超扩散,一种新的方法,无条件生成的隐式神经场建模。HyperDiffusion直接对MLP权重进行操作,并生成由合成MLP参数编码的新神经隐式字段。具体而言,首先优化MLP的集合以忠实地表示各个数据样本。随后,在该MLP权重空间中训练扩散过程,以对神经隐场的底层分布进行建模。HyperDiffusion支持在一个统一的框架内,通过隐式、紧凑且高保真的方式,对3D形状和4D网格动画中的复杂信号进行扩散建模。
2023-03-29 cs.CV cs.LG
On weight initialization in deep neural networks
在神经网络中,权值的正确初始化对网络的收敛性至关重要。目前对权重初始化的认识主要来自线性激活函数。在本文中,我开发了一个理论的重量初始化与非线性激活。首先,我推导出一个一般的权重初始化策略,任何神经网络使用激活函数可微0。接下来,我推导出了整流线性单元(RECTIFITED LINEAR UNIT)的权重初始化策略,并从理论上解释了为什么Xavier初始化对于RECTIFITED LINEAR UNIT激活是一个糟糕的选择。我的分析提供了一个明确的示范作用的非线性确定适当的权重初始化。
2017-05-02 cs.LG
The FaceChannel: A Light-weight Deep Neural Network for Facial Expression Recognition
Istituto Italiano di Tecnologia(意大利技术研究院);University of Cambridge(剑桥大学)
当前最先进的自动FER模型是基于很难训练的深度神经网络。这使得使这些模型适应不断变化的条件具有挑战性,这是FER模型的一个要求,因为情感感知和理解具有主观性质。在本文中,我们通过形式化FaceChannel来解决这个问题,FaceChannel是一种轻量级的神经网络,其参数比常见的深度神经网络少得多。我们在不同的基准数据集上进行了一系列实验,以证明FaceChannel如何实现与当前FER中最先进的性能相比,即使不是更好,也是相当的性能。
2020-04-17 cs.CV cs.LG
Dynamic Neural Graph Encoding of Inference Processes in Deep Weight Space
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学);McMaster University(麦马斯特大学);Concordia University(康科迪亚大学)
提出动态神经图编码器(DNG-Encoder),通过动态图表示神经网络参数并保留推理的时序特性,在INR分类任务上比现有方法提升约10%准确率。
2026-07-03 cs.AI cs.LG
Gabliteration: Adaptive Multi-Directional Neural Weight Modification for Selective Behavioral Alteration in Large Language Models
Machine Learning Research Stuttgart, Germany(斯图加特德国机器学习研究所)
Gabliteration通过适应性多方向神经权重修改技术,实现大语言模型中选择性行为改变的高效优化,提升模型性能并减少无关领域的影响。
2026-01-28 cs.AI cs.LG
The Combinatorial Brain Surgeon: Pruning Weights That Cancel One Another in Neural Networks
University of Utah(犹他大学);Bucknell University(巴克内尔大学);Google Research(谷歌研究院)
如果神经网络更大,那么它们在训练时往往会达到更好的准确性--即使最终的模型是过度参数化的。然而,在训练之前、期间或之后小心地去除这些多余的参数也可以产生具有类似甚至更高精度的模型。在许多情况下,奇怪的是,这可以通过简单的删除具有最小绝对值的权重的百分比来实现-即使幅度不是权重相关性的完美代理。在从修剪中获得显着更好的性能取决于考虑去除多个权重的组合效果的前提下,我们重新审视了基于影响的修剪的经典方法之一:最佳脑外科医生(OBS)。我们提出了一个易于处理的启发式解决的组合扩展的OBS,在其中我们选择的权重同时删除,以及系统更新的剩余权重。我们的选择方法在高稀疏性下优于其他方法,并且即使与其他方法结合,权重更新也是有利的。
2022-06-19 cs.CV cs.LG
Training and Generating Neural Networks in Compressed Weight Space
The Swiss AI Lab IDSIA, USI & SUPSI(瑞士人工智能实验室 IDSIA,USI 与 SUPSI)
一些神经网络的输入和/或输出是其他神经网络的权重矩阵。权重矩阵的间接编码或端到端压缩可能有助于扩展此类方法。我们的目标是开启对这个主题的讨论,从用于字符级语言建模的递归神经网络开始,其权重矩阵由离散余弦变换编码。我们的快速权重版本使用递归神经网络来参数化压缩权重。我们在enwik 8数据集上展示了实验结果。
2021-12-31 cs.CL cs.LG
Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations
ARM Research(ARM研究院)
深度卷积神经网络(CNN)推理需要大量的内存和计算,这限制了其在嵌入式设备上的部署。为了在一定程度上缓解这些问题,先前的研究利用低精度定点数来表示CNN权重和激活。然而,固定点权重的最小所需数据精度在不同网络之间以及在同一网络的不同层之间变化。在这项工作中,我们建议使用浮点数表示的权重和定点数表示的激活。我们表明,对于相同的位宽,使用浮点表示的权重比定点表示更有效,并在流行的大规模CNN(如AlexNet,SqueezeNet,GoogLeNet和VGG-16)上进行了演示。我们还表明,这样的表示方案,使紧凑的硬件乘法和累加(MAC)单元设计。实验结果表明,该方案减少了高达36%的重量存储和功耗的硬件乘法器高达50%。
2017-03-08 cs.CV cs.LG
Approximation error of single hidden layer neural networks with fixed weights
本文给出了具有两个固定权值的单隐层神经网络逼近误差的显式表达式。
2022-03-04 cs.LG math.CA stat.ML
Deeper Insights into Weight Sharing in Neural Architecture Search
Microsoft Research Asia(微软亚洲研究院)
随着深度神经网络的成功,神经结构搜索(NAS)作为一种自动模型设计的方式引起了广泛的关注。由于从头开始训练每个子模型非常耗时,最近的工作利用权重共享来加快模型评估过程。这些方法通过在超网络上维护一个权重副本并在每个子模型之间共享权重来大大减少计算。然而,权重分担没有理论保证,其影响以前也没有得到很好的研究。在本文中,我们进行了全面的实验来揭示权重共享的影响:(1)来自不同运行甚至来自同一运行中连续时期的最佳模型具有显著的方差;(2)即使在高方差的情况下,我们也可以从共享权重的超网训练中提取有价值的信息;(3)子模型之间的干扰是导致高方差的主要因素;(4)子模型之间的干扰是导致高方差的主要因素。(4)适当降低权重分担程度可以有效降低方差,提高性能。
2020-01-06 cs.CV cs.LG stat.ML
Dynamic Weight Alignment for Temporal Convolutional Neural Networks
NTT Communication Science Laboratories(日本电报电话通信科学实验室)
在本文中,我们提出了一种改进时间卷积神经网络(CNN)的方法,通过使用动态规划来确定权值和输入的最佳对齐。传统的CNN卷积将共享权重线性匹配到输入的窗口。然而,有可能存在权重的更优对准。因此,我们建议使用动态时间规整(DTW)来动态地将权重与卷积层的输入对齐。具体地说,动态对准克服了问题,如时间失真,通过寻找最小距离匹配的权重和输入的约束。我们证明了所提出的架构的有效性Unipen在线手写数字和字符数据集,UCI阿拉伯语口语数字数据集,和UCI日常生活活动数据集。
2019-02-07 cs.CV cs.LG cs.NE
Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification
Royal Holloway University of London(伦敦大学皇家霍洛威学院)
深度学习的历史表明,人类设计的特定问题网络可以大大提高一般神经模型的分类性能。然而,在大多数实际情况下,为给定任务选择最佳架构仍然是一个具有挑战性的问题。最近的结构搜索方法能够自动构建具有强大性能的神经模型,但未能充分认识到神经结构和权重之间的相互作用。这项工作研究了解开神经结构及其边缘权重的作用的问题,表明训练有素的架构可能不需要任何特定于链路的权重微调。我们比较了这种无权重网络(在我们的情况下,这些是具有{0,1}值权重的二进制网络)与随机,权重不可知,修剪和标准全连接网络的性能。为了找到最优的权重不可知网络,我们使用了一种新的和计算效率高的方法,将硬架构搜索问题转化为一个可行的优化问题。更具体地说,我们将最优的任务特定架构视为具有{0,1}值权重的二进制网络的最优配置,可以通过近似梯度下降策略找到。理论上的收敛性保证所提出的算法是通过边界的梯度近似的误差和它的实际性能进行评估,在两个现实世界的数据集。为了测量不同架构之间的结构相似性,我们使用了一种新的谱方法,使我们能够强调实值网络和无权重架构之间的内在差异。
2020-09-11 cs.CV cs.LG stat.ML
Weightless Neural Networks for Continuously Trainable Personalized Recommendation Systems
nimo Omnis Labs
本文提出使用无权神经网络构建逐用户的小型个性化推荐模型,实现持续学习并提升透明度,在MovieLens子集上取得与经典加权系统和协同过滤相当的准确率。
2025-09-15 cs.AI cs.IR cs.LG
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University(南京大学)
随着深度神经网络的发展,网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法,但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中,我们提出了一种用于模型压缩的新型量化方法,称为基于权重归一化的量化(WNQ)。WNQ采用权值归一化来避免网络权值的长尾分布,从而减小量化误差。在CIFAR-100和ImageNet上的实验表明,WNQ可以超越其他基线,实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Simon Fraser University(西蒙菲莎大学)
研究证明具有二次激活的浅层复神经网络无伪局部极小值,而相同条件下的实神经网络存在无限多个,复值权重能将差的局部极小值转化为鞍点。
2024-11-12 cs.LG stat.ML
An Inter-Layer Weight Prediction and Quantization for Deep Neural Networks based on a Smoothly Varying Weight Hypothesis
Kyung Hee University(庆熙大学)
由于资源受限的环境,网络压缩已成为深入神经网络研究的重要组成部分。本文提出了一种新的压缩方法,\textit{Inter-Layer Weight Prediction}(ILWP)和量化方法,该方法基于传统视频编码方案中的帧间预测方法,在所有卷积层的权重之间进行预测残差。此外,我们发现了一种现象\textit{Smoothly Varying Weight Hypothesis}(SVWH),即相邻卷积层中的权重在形状和值上具有很强的相似性,即,重量倾向于随着层平滑地变化。基于SVWH,我们提出了第二种ILWP和量化方法,该方法将相邻卷积层中权重之间的预测残差进行量化。由于预测的权重残差倾向于遵循具有非常低方差的拉普拉斯分布,因此可以更有效地应用权重量化,从而产生更多的零权重并提高权重压缩比。此外,我们提出了一个新的\textit{inter-layer loss}消除非纹理位,这使我们能够更有效地存储只有纹理位。也就是说,所提出的损失正则化权重,使得相邻两层之间的并置权重具有相同的值。最后,我们提出了一个ILWP与层间损失和量化方法。综合实验结果表明,该方法在相同的精度水平下,与以往基于量化的深度神经网络压缩方法相比,具有更高的权重压缩率。
2020-08-20 cs.CV cs.LG stat.ML