What's Hidden in a Randomly Weighted Neural Network?
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
训练神经网络与学习权值是同义的。相比之下,我们证明了随机加权的神经网络包含子网络,这些子网络在没有训练权重值的情况下实现了令人印象深刻的性能。隐藏在随机加权的Wide ResNet-50中,我们发现有一个子网络(具有随机权重)比在ImageNet上训练的ResNet-34的性能更小,但与之匹配。这些“未经训练的子网络”不仅存在,而且我们提供了一种算法来有效地找到它们。我们的经验表明,随着具有固定权重的随机加权神经网络变得更宽更深,“未经训练的子网络”在准确性上接近具有学习权重的网络。我们的代码和预训练模型可以在https://github.com/allenai/hidden-networks上找到。
2020-03-31 cs.CV cs.LG
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences(阿塞拜疆国家科学院控制系统研究所)
本文对比了多层感知器在预计算权重与随机初始化权重下的表现,发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University(首尔国立大学)
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题,但未能实现对使用代理梯度的攻击的鲁棒性,例如变换期望(EOT)攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响,并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明,代理梯度是不太有效的梯度时,更分散。为此,我们提出了梯度多样性(GradDiv)正则化,最大限度地减少梯度的浓度,以建立一个强大的随机神经网络。我们在MNIST,CIFAR10和STL 10上的实验表明,我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外,我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
Designing neural networks that process mean values of random variables
AIT Austrian Institute of Technology GmbH(AIT奥地利技术研究院);Washington University(华盛顿大学)
我们介绍了一类神经网络来自概率模型的贝叶斯网络的形式。通过对网络中表示的概率模型的性质施加额外的假设,我们得到了具有标准动态的神经网络,这些神经网络不需要训练来确定突触权重,可以精确计算随机变量的平均值,可以汇集多个证据来源,并且可以干净一致地处理不一致或矛盾的证据。所提出的神经网络捕获贝叶斯网络的许多属性,提供分布式版本的概率模型。
2010-04-29 cond-mat.dis-nn cs.AI cs.LG
Self-Constructing Neural Networks Through Random Mutation
George Mason University(乔治梅森大学)
对神经结构的研究正在人工智能领域产生许多最令人兴奋的成果。越来越明显的是,任务特定的神经结构在有效解决问题方面起着至关重要的作用。提出了一种通过随机变异学习神经网络结构的简单方法。该方法表明:1)神经架构可以在代理的生命周期内学习,2)神经架构可以在没有任何初始连接或神经元的情况下在单个生命周期内构建,以及3)架构修改能够快速适应动态和新颖的任务场景。从没有任何神经元或连接开始,这种方法构建了一个能够在多个任务上实现高性能的神经架构。这种方法的终身学习能力在没有情景重置的环境中得到了证明,即使是在不断变化的形态、肢体残疾和不断变化的任务目标的情况下学习,也不会失去运动能力。
2021-03-29 cs.AI cs.LG cs.NE
Learning from Randomly Initialized Neural Network Features
Google Research(谷歌研究院);Poznan University of Technology(波兹南理工大学)
我们提出了令人惊讶的结果,随机初始化的神经网络是良好的特征提取的预期。这些随机特征对应于我们称之为神经网络先验核(NNPK)的有限样本实现,它本质上是无限维的。我们在不同大小的多个架构上进行消融,并进行初始化和激活函数。我们的分析表明,训练模型中出现的某些结构在初始化时就已经存在。因此,NNPK可以进一步深入了解为什么神经网络在学习这种结构方面如此有效。
2022-02-13 cs.LG
A generative neural network model for random dot product graphs
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了GraphMoE,一种新的基于神经网络的方法来学习随机图的生成模型。神经网络被训练成通过矩估计器来匹配一类随机图的分布。用于训练的特征是graphlets,小顺序的子图计数。神经网络接受随机噪声作为输入,并输出图中节点的矢量表示。然后通过将核应用于表示来实现随机图。通过这种方式生成的图表被证明能够模仿来自化学、医学和社交网络的数据。生成的图与目标数据足够相似,从而能够欺骗能够分离随机图类别的随机神经网络。
2022-04-15 cs.LG stat.ML
Learning from Pseudo-Randomness With an Artificial Neural Network - Does God Play Pseudo-Dice?
Rensselaer Polytechnic Institute(伦斯勒理工学院)
受神经网络作为机器学习的主流在许多应用领域取得成功的启发,本文提出利用这种方法来解码伪随机数据之间的隐藏相关性,并据此预测事件。通过一个简单的神经网络结构和一个典型的训练过程,我们证明了神经网络在极端随机环境下的学习和预测能力。最后,我们假设神经网络的高灵敏度和效率可以允许严格测试量子随机性和伪随机性之间是否存在任何根本差异,这相当于这样一个问题:上帝玩骰子吗?
2018-01-05 cs.CR cs.LG
Pruning Randomly Initialized Neural Networks with Iterative Randomization
NTT Computer and Data Science Laboratories, NTT Corporation(NTT公司NTT计算机与数据科学实验室);NTT Social Informatics Laboratories, NTT Corporation(NTT公司NTT社会信息学实验室)
随机初始化神经网络的权值修剪在彩票假设中起着重要的作用。Ramanujan等人(2020)的经验表明,只有修剪权重才能实现显着的性能,而不是优化权重值。然而,为了实现与权重优化相同的性能水平,修剪方法在修剪之前需要网络中的更多参数,从而需要更多的存储空间。为了克服这种参数效率低下,我们引入了一种新的框架,修剪随机初始化的神经网络与迭代随机权值(IteRand)。理论上,我们证明了一个近似定理,在我们的框架,这表明随机化操作是可证明有效的,以减少所需的参数的数量。我们还在CIFAR-10和ImageNet上的多个实验中实证了参数效率。代码可在以下网址获得:https://github.com/dchiji-ntt/iterand
2022-04-05 cs.AI cs.LG cs.NE
Using different sources of ground truths and transfer learning to improve the generalization of photometric redshift estimation
Southern Oregon University(南俄勒冈大学);University of Richmond(里士满大学)
本研究针对传统光谱红移训练样本有限的问题,通过创建覆盖更广星系类型的TransferZ数据集,结合迁移学习及组合数据集训练方法,有效提升了测光红移估计的泛化能力,满足宇宙学需求。
2024-11-27 astro-ph.GA astro-ph.IM cs.LG
Quasi-Random Physics-informed Neural Networks
Skolkovo Institute of Science and Technology(斯克尔克沃科学与技术研究所)
本文提出准随机物理信息神经网络,通过低分歧序列采样提升高维PDE求解效率,实验显示其优于传统PINNs和自适应采样方法。
2025-07-10 cs.AI cs.LG cs.NA
Analyzing Neural Networks Based on Random Graphs
Jagiellonian University(雅盖隆大学)
我们进行了大量的评估神经网络与架构对应的各种类型的随机图。我们调查各种结构和数值性质的关系到神经网络测试精度的图形。我们发现,没有一个经典的数值图不变量本身允许挑选出最好的网络。因此,我们引入了一个新的数值图特征,它选择了一组准一维图,这些图是性能最好的网络中的大多数。我们还发现,主要是短距离连接的网络比允许许多长距离连接的网络表现更好。此外,许多分辨率降低途径是有益的。我们在https://github.com/rmldj/random-graph-nn-paper上提供了1020个图的数据集及其相应神经网络的测试精度
2020-12-02 cs.CV cs.LG q-bio.NC
Compressing Deep Neural Networks: A New Hashing Pipeline Using Kac's Random Walk Matrices
Columbia University(哥伦比亚大学)
深度学习的普及程度与日俱增。然而,尽管最近在硬件方面取得了进步,但深度神经网络仍然是计算密集型的。最近的工作表明,通过保持向量之间的角距离,随机特征映射能够降低维度,而不会对估计量引入偏差。我们测试了各种已建立的散列管道以及使用Kac的随机游走矩阵的新方法。我们证明,这种方法达到了类似的精度,现有的管道。
2018-09-26 cs.LG
Generating Random Parameters in Feedforward Neural Networks with Random Hidden Nodes: Drawbacks of the Standard Method and How to Improve It
Czestochowa University of Technology(琴斯托霍瓦理工大学)
在具有随机隐藏节点的前馈神经网络中生成随机权重和偏差的标准方法是从相同固定区间上的均匀分布中选择它们。在这项工作中,我们展示了这种方法的缺点,并提出了一种新的方法来生成随机参数。该方法保证了在输入超立方体中保留了对目标函数非线性建模最有用的S形函数的非线性片段。此外,我们展示了如何生成具有均匀分布的倾斜角的激活函数。
2019-09-17 cs.LG cs.NE stat.ML
Concentration of measure for non-linear random matrices with applications to neural networks and non-commutative polynomials
University of Warsaw, Institute of Mathematics, ul. Banacha 2, 02-097 Warszawa, Poland(华沙大学数学研究所)
本文证明了多种非线性随机矩阵模型的集中不等式,并以此为推论获得了神经网络共轭核的线性谱统计及随机矩阵中非交换多项式的估计。
2025-07-14 cs.LG math.PR
A generalized Wasserstein-2 distance approach for efficient reconstruction of random field models using stochastic neural networks
Department of Mathematics, University of Houston(休斯顿大学数学系);Courant Institute of Mathematical Sciences, New York University(纽约大学Courant数学科学研究所);Nuffield School of Medicine, University of Oxford(牛津大学Nuffield医学院)
本文提出广义Wasserstein-2距离方法训练随机神经网络以重建含连续和分类分量的随机场模型,并证明其逼近能力,在分类、混合分布重建和含噪动力系统学习等任务中验证了有效性。
2025-07-07 cs.LG
Improving Randomized Learning of Feedforward Neural Networks by Appropriate Generation of Random Parameters
Czestochowa University of Technology(琴斯托霍瓦工业大学)
提出了一种单隐层前馈神经网络随机学习的随机参数生成方法。该方法首先从调整到目标函数的区间中随机选择隐层神经元激活函数的倾斜角,然后随机旋转激活函数,最后将其分布在输入空间中。对于复杂的目标函数,所提出的方法给出了更好的结果比在实践中常用的方法,其中的随机参数是从固定的区间选择。这是因为它将激活函数的最陡片段引入到输入超立方体中,避免了它们的饱和片段。
2019-08-15 cs.LG cs.NE stat.ML
A Correspondence Between Random Neural Networks and Statistical Field Theory
Google Brain(谷歌大脑)
最近的一些论文提供了证据,证明神经网络的实际设计问题可以通过研究随机网络的行为来理论上解决。然而,到目前为止,可用于分析随机神经网络的工具一直相对特设。在这项工作中,我们表明,在随机神经网络中的预激活的分布可以准确地映射到统计物理中的格模型。我们认为,以前的几个调查随机网络实际上研究了一个特定的阶乘近似的全格模型。对于随机线性网络和随机整流线性网络,我们表明,相应的格子模型在宽网络限制可以系统地近似为高斯分布与网络层之间的协方差。在每种情况下,近似分布可以通过傅立叶变换对角化。我们表明,这种近似准确地描述了宽随机神经网络的数值模拟的结果。最后,我们证明了在每种情况下,随机网络的大尺度行为可以近似的有效场论。
2017-10-18 cond-mat.dis-nn cs.LG stat.ML
Deep Randomized Neural Networks
University of Pisa(比萨大学);Sapienza University of Rome(罗马第一大学)
随机神经网络探索神经系统的行为,其中大多数连接是固定的,无论是以随机还是确定性的方式。这种系统的典型示例包括多层神经网络架构,其中到隐藏层的连接在初始化之后保持未训练。将训练算法限制在一组减少的权重上,这本质上表征了具有许多有趣特征的随机神经网络类。其中,由此产生的学习过程的极高效率无疑是完全训练架构的显著优势。此外,尽管涉及简化,但随机神经系统在实践中具有显着的特性,在多个领域中实现了最先进的结果,并且在理论上允许分析神经架构的内在特性(例如,在训练隐藏层的连接之前)。近年来,随机神经网络的研究已经扩展到深度架构,为在向量以及更复杂的数据域中设计有效且非常高效的深度学习模型开辟了新的研究方向。本章概述了关于随机神经网络设计和分析的所有主要方面,以及关于其近似能力的一些关键结果。特别是,我们首先介绍了前馈网络背景下随机神经模型的基本原理(即,随机向量函数链接和等效模型)和卷积滤波器,然后移动到递归系统的情况(即,储备池计算网络)。对于这两个,我们特别关注最近的结果在域的深度随机化系统,和(经常性模型)其应用程序的结构域。
2021-02-02 cs.LG cs.NE stat.ML
Random feature neural networks learn Black-Scholes type PDEs without curse of dimensionality
University of Munich(慕尼黑大学)
本文研究了使用随机特征神经网络学习与Black-Scholes和更一般的指数Lévy模型相关的Kolmogorov偏(积分)微分方程。随机特征神经网络是单隐层前馈神经网络,其中只有输出权重是可训练的。这使得训练特别简单,但(先验)降低了表达能力。有趣的是,这不是布莱克-斯科尔斯型偏微分方程的情况下,我们在这里显示。我们推导出的随机神经网络学习充分非退化的Black-Scholes型模型的预测误差的界限。一个完整的误差分析,它示出了派生的界限不遭受灾难的维度。我们还研究了这些结果的应用,一篮子期权和验证的边界数值。这些结果证明了神经网络能够在没有维数灾难的情况下,对Black-Scholes型偏微分方程进行\textit{learn}求解.此外,这提供了一个相关学习问题的例子,其中随机特征神经网络可证明是有效的。
2021-06-14 cs.LG math.PR q-fin.MF
Neural Random Forests
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Ecole Polytechnique(巴黎综合理工学院);University College London(伦敦大学学院)
给定随机回归树的集合,可以将它们重构为具有特定连接权重的多层神经网络的集合。遵循这一原则,我们重新制定的随机森林方法Breiman(2001)到神经网络设置,并反过来提出了两个新的混合程序,我们称之为神经随机森林。这两个预测器都利用回归树的先验知识来构建它们的架构,比标准网络具有更少的参数来调整,并且比树对决策边界的几何形状的限制更少。一致性的结果得到证明,并提供大量的数值证据合成和真实的数据集,以评估我们的方法在各种各样的预测问题的优异性能。
2018-04-03 cs.LG math.ST stat.ML
Random Neural Networks in the Infinite Width Limit as Gaussian Processes
Princeton University(普林斯顿大学)
本文给出了一个新的证明,即具有随机权重和偏差的全连接神经网络在输入维度、输出维度和深度保持固定而隐藏层宽度趋于无穷大的情况下收敛于高斯过程。与以前的工作不同,收敛只假设矩条件的权重分布和相当一般的非线性。
2021-07-04 cs.LG math.PR math.ST
Points of non-linearity of functions generated by random neural networks
本文研究单隐藏层任意宽度 ReLU 随机网络生成的一维函数,通过分析非线点的期望分布,解释网络偏好简单几何函数及部分低信息论复杂度函数仍难逼近的原因。
2023-04-19 cs.LG math.PR
Universal Time-Uniform Trajectory Approximation for Random Dynamical Systems with Recurrent Neural Networks
循环神经网络的能力,以近似随机动力系统的轨迹,随机输入,非紧域,并在一个不确定的或无限的时间范围被认为是。主要结果表明,无限时间范围内的某些随机轨迹可以通过具有简单反馈结构的某类深度循环神经网络来近似为任何期望的精度,在时间上均匀。这里的配方与相关文献中关于这一主题,其中大部分是限制在紧凑的状态空间和有限的时间间隔。这里所要求的模型条件是自然的、温和的、易于检验的,证明也非常简单。
2022-11-15 cs.LG cs.NE math.DS
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University(普林斯顿大学)
在线性映射序列在某个子空间上收敛快得多的条件下,建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术,然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维,和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能,也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Enhanced Expressive Power and Fast Training of Neural Networks by Random Projections
随机投影能够有效地对具有非线性低维结构的数据集进行降维。一个众所周知的例子是随机矩阵将稀疏向量近似等距地嵌入到低维子空间中,称为压缩感知中的受限等距属性。在本文中,我们探索了随机投影在深度神经网络中的一些应用。当输入数据是稀疏向量或形成低维光滑流形时,我们提供了全连接神经网络的表达能力。我们证明了近似Lipschitz函数所需的神经元的数量与规定的精度取决于稀疏性或流形的维数和弱输入向量的维数。我们证明的关键是随机投影将稀疏向量集或低维光滑流形稳定地嵌入到低维子空间中。在此基础上,我们还提出了一些新的神经网络模型,其中每一层的输入首先通过随机投影到一个低维子空间上,然后应用标准的线性连接和非线性激活。以这种方式,神经网络中的参数数量显著减少,并且因此神经网络的训练可以在没有太多性能损失的情况下加速。
2019-01-10 cs.LG stat.ML
Knots in random neural networks
Institute for Defense Analyses(国防分析研究所);Center for Communications Research - La Jolla(通信研究中心——拉霍亚)
神经网络的权重通常是随机初始化的,人们可以认为这样的网络产生的函数是由某个函数空间上的先验生成的。因此,研究随机网络有助于贝叶斯理解训练早期阶段的网络演化。特别是,人们可以研究为什么具有大量参数的神经网络不会立即过拟合。我们分析了随机标量输入前馈整流线性单元结构,这是随机线性样条的属性。通过从某些常见分布中采样权重和偏差,经验测试表明,网络产生的样条中的节点数量等于神经元的数量,非常接近。我们描述了我们的进展对这种现象的一个完全的分析解释。特别是,我们证明了随机单层神经网络等效于具有可变步长的集成随机游动。每个神经元平均产生一个结,相当于相关的积分随机游动平均有一个零交叉。我们探讨如何整合的随机游动的属性,包括步长和初始条件,影响交叉的数量。随机神经网络中的节点数量可能与极端学习机器的行为有关,但它也建立了一个先验,防止优化器立即过度拟合噪声训练数据。
2018-11-27 cs.LG stat.ML
Universality and Approximation Rates of Graph Neural Networks with Random Features
该研究针对带随机节点特征的排列等变神经网络(PENNs),证明其可概率逼近固定大小有向图上的任意可测排列不变/等变函数,并推导了k≥2时的近似率上界,明确了前馈组件复杂度与近似精度的关系。
2026-07-30 cs.LG stat.ML
R3Net: Random Weights, Rectifier Linear Units and Robustness for Artificial Neural Network
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们考虑一个具有随机化特征的神经网络架构,一个符号分离器,后面是整流线性单元(ReLU)。我们证明了我们的架构具有鲁棒性的输入扰动:输出功能的神经网络表现出Lipschitz连续的输入扰动。我们进一步证明了网络输出具有一种区分能力,即不是任意接近的输入生成输出向量,这些输出向量保持彼此之间的距离服从一定的下界。这确保了两个不同的输入保持可区分,同时收缩输出特征空间中的距离。
2018-03-12 cs.LG stat.ML
Random matrix theory and the loss surfaces of neural networks
University of Bristol(布里斯托大学)
本论文利用随机矩阵理论研究大型神经网络损失曲面,证实局部随机矩阵普适性,并据此分析 Hessian 谱、训练方法及优化算法。
2023-06-03 cs.LG math-ph math.MP
Universal approximation property of Banach space-valued random feature models including random neural networks
Nanyang Technological University, Division of Mathematical Sciences(南洋理工大学数学科学学院);ETH Zurich, Department of Mathematics(苏黎世联邦理工学院数学系)
本文研究Banach空间值随机特征学习的通用逼近性质,通过随机初始化特征映射仅训练线性读出层,证明在Bochner空间中的逼近结果,并推导逼近速率和学习算法。
2026-04-27 cs.LG math.PR stat.ML
Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable
Brandeis University(布兰迪斯大学);MIT(麻省理工学院)
本文证明了足够宽的随机初始化单层神经网络无需训练即可高概率使两类数据线性可分,给出了两种宽度界,其中一种与输入维度无关,克服了维度灾难,证明结合了几何原理与随机矩阵集中性。
2023-10-08 cs.LG math.PR stat.ML
Probabilistic Inference of Binary Markov Random Fields in Spiking Neural Networks through Mean-field Approximation
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);University of Leicester(莱斯特大学)
最近的研究表明,人类大脑的认知过程被实现为概率推理,并且可以进一步通过概率图形模型(如马尔可夫随机场)进行建模。然而,目前还不清楚概率推理如何通过大脑中的尖峰神经元网络来实现。以往的研究试图通过置信传播算法和重新参数化将二进制马尔可夫随机场的推理方程与脉冲神经网络的动力学方程联系起来,但它们只适用于有限网络结构的马尔可夫随机场。本文提出了一种脉冲神经网络模型,可以实现任意二进制马尔可夫随机场的推理。具体地说,我们设计了一个尖峰循环神经网络,并证明了其神经元动力学在数学上等价于马尔可夫随机场的推理过程,采用平均场理论。此外,我们的平均场方法统一了以前的工作。理论分析和实验结果以及图像去噪的应用表明,我们提出的尖峰神经网络可以得到与平均场推理相当的结果。
2020-03-12 cs.LG q-bio.NC stat.ML