How Powerful Are Randomly Initialized Pointcloud Set Functions?
Autodesk Research（欧特克研究）
我们研究了由未经训练的神经集函数产生的随机嵌入，并表明它们是强大的表示，可以很好地捕获下游任务（如分类）的输入特征，并且通常是线性可分的。我们得到了令人惊讶的结果，表明随机集函数通常可以获得接近甚至更好的准确性比完全训练的模型。我们调查的因素，影响这种嵌入的代表性力量定量和定性。
2020-03-11 cs.CV cs.LG
Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks
ETH Zurich（苏黎世联邦理工学院）
本文回顾了所谓的消失梯度现象，这通常发生在深度随机初始化神经网络。利用对神经链的深入分析，我们首先证明，当网络宽度小于O（深度）时，即使使用流行的Xavier和He初始化初始化，也无法规避消失梯度。其次，我们扩展到二阶导数的分析，并表明，随机i.i.d.初始化也会产生Hessian矩阵，其特征谱随着网络深度的增长而消失。每当这种情况发生时，优化器都会在一个非常平坦的鞍点状高原中初始化，这是特别难以用随机梯度下降（SGD）逃脱的，因为它的逃脱时间与曲率成反比。我们认为，这一观察结果对于充分理解（a）使用香草SGD训练深度网络的历史困难，（b）自适应梯度方法的成功（自然适应曲率，从而快速逃离平坦高原）以及（c）现代架构组件（如剩余连接和归一化层）的有效性至关重要。
2021-06-07 cs.LG
Function Approximation with Randomly Initialized Neural Networks for Approximate Model Reference Adaptive Control
University of Minnesota（明尼苏达大学）
本文定义了软化积分表示方法，为缺乏直接积分表示的激活函数构建目标函数积分表示，从而为多种常用激活函数的随机初始化神经网络提供逼近保证。
2023-04-05 cs.LG math.OC
A Johnson--Lindenstrauss Framework for Randomly Initialized CNNs
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Tel Aviv University（特拉维夫大学）
在应用神经网络的每个随机初始化层之后，数据集的几何表示如何改变？著名的Johnson-Lindenstrauss引理回答了线性全连接神经网络（FNN）的这个问题，指出几何结构基本上是保留的。对于具有ReLU激活的FNN，两个输入之间的角度根据已知映射收缩。非线性卷积神经网络（CNN）的问题变得更加复杂。为了回答这个问题，我们引入了一个几何框架。对于线性CNN，我们证明了Johnson-Lindenstrauss引理继续成立，即两个输入之间的角度保持不变。另一方面，对于具有ReLU激活的CNN，其行为更丰富：输出之间的角度收缩，收缩的程度取决于输入的性质。特别是，在一层之后，自然图像的几何结构基本上得到了保留，而对于高斯相关输入，CNN表现出与具有ReLU激活的FNN相同的收缩行为。
2022-03-07 cs.LG cs.NE math.PR
Sample Variance Decay in Randomly Initialized ReLU Networks
Princeton University（普林斯顿大学）
在训练神经网络之前，一个经典的经验法则是随机初始化权重，这样激活的方差就可以在各层之间保持不变。传统上，由于两个权重\emph{and}样本中的随机性，使用总方差来解释这一点。或者，可以将经验法则解释为保持固定网络样本的方差。这两种解释对于浅网络来说差别不大，但是对于深ReLU网络来说，通过将总方差分解为样本方差和样本均值平方的网络平均和，这种差异会随着深度的增加而增加。我们证明，即使当总方差保持，样本方差衰减在后面的层通过分析计算的限制，无限的网络宽度，和数值模拟有限的宽度。我们证明了批量归一化消除了这种衰减，并提供了经验证据，证明在初始化时保留样本方差而不仅仅是总方差会对深度网络的训练动态产生影响。
2019-08-06 cs.LG stat.ML
Meta-ticket: Finding optimal subnetworks for few-shot learning within randomly initialized neural networks
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司NTT计算机与数据科学实验室）；Kyoto University（京都大学）
神经网络的少样本学习是用少量数据训练神经网络的一个重要问题。主要的挑战是如何避免过拟合，因为过参数化的NN很容易过拟合到如此小的数据集。以前的工作（例如Finn等人的MAML 2017）通过元学习来应对这一挑战，元学习通过使用各种任务来学习如何从一些数据中学习。另一方面，避免过拟合的一种常规方法是通过赋予稀疏NN结构（如计算机视觉中的卷积层）来限制假设空间。然而，尽管这种手动设计的稀疏结构对于足够大的数据集是样本有效的，但它们仍然不足以用于少样本学习。那么下面的问题自然会出现：（1）我们能否找到有效的稀疏结构的少样本学习的元学习？(2)它在元泛化方面会带来什么好处？在这项工作中，我们提出了一种新的元学习方法，称为元票，找到最佳的稀疏子网络的少样本学习随机初始化的神经网络。我们通过经验验证，元票成功地发现了稀疏的子网络，可以为每个给定的任务学习专门的功能。由于这种任务智能自适应能力，与基于MAML的方法相比，Meta-ticket实现了更好的元泛化，特别是对于大型NN。代码可在以下网址获得：https://github.com/dchiji-ntt/meta-ticket
2023-02-09 cs.AI cs.LG cs.NE
Demystifying Randomly Initialized Networks for Evaluating Generative Models
Yonsei University（延世大学）
生成模型的评估主要是基于在特定特征空间中估计分布和地面真实分布之间的比较。为了将样本嵌入到信息特征中，以前的工作通常使用针对分类优化的卷积神经网络，这受到最近研究的批评。因此，已经探索了各种特征空间以发现替代方案。其中，一种令人惊讶的方法是使用随机初始化的神经网络进行特征嵌入。然而，采用随机特征的基本依据还没有得到充分的证明。在本文中，我们严格研究了具有随机权重的模型的特征空间，并与训练模型进行了比较。此外，我们提供了一个经验证据来选择网络的随机特征，以获得一致和可靠的结果。我们的研究结果表明，来自随机网络的特征可以很好地评估生成模型，类似于来自训练网络的特征，而且，这两种类型的特征可以以互补的方式一起使用。
2022-12-14 cs.LG
Robust Binary Models by Pruning Randomly-initialized Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
对对抗攻击的鲁棒性需要更大的模型容量，因此需要更大的内存占用。在本文中，我们介绍了一种方法来获得强大的，但紧凑的模型，通过修剪随机初始化的二进制网络。与学习模型参数的对抗训练不同，我们将模型参数初始化为+1或-1，保持固定，并找到对攻击鲁棒的子网络结构。我们的方法在存在对抗攻击的情况下证实了强彩票假设，并将其扩展到二进制网络。此外，它产生更紧凑的网络与竞争力的性能比现有的作品1）自适应修剪不同的网络层; 2）利用一个有效的二进制初始化方案; 3）将最后一个批量归一化层，以提高训练的稳定性。我们的实验表明，我们的方法不仅总是优于最先进的鲁棒二进制网络，而且在某些数据集上可以达到比全精度更好的精度。最后，我们展示了我们修剪的二进制网络的结构化模式。
2022-10-15 cs.LG
Randomly Initialized Networks Can Learn from Peer-to-Peer Consensus
研究探讨了自蒸馏在学习动态中的作用，通过训练随机初始化网络发现其在下游任务中能获得非平凡改进，分析了超参数影响及模型学习内容。
2026-04-20 cs.AI cs.LG
A post-processing method to improve the white matter hyperintensity segmentation accuracy for randomly-initialized U-net
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；The University of Waikato（怀卡托大学）
白质高信号（WMH）是老年人常见的脑白质病变，与脑部疾病有关。U-net是一种卷积网络，已广泛用于生物医学图像分割。最近，U-net已经成功地应用于WMH分割。随机初始化通常用于初始化U-网中的模型权值。然而，该模型可能会覆盖到不同的局部最优与不同的随机初始化的权重。我们发现，阈值和平均的输出与不同的随机初始化的U-网的组合可以大大提高WMH分割精度。基于这一观察，我们提出了一个后处理技术的方式如何进行平均和阈值。具体来说，我们首先通过阈值化将三个U网的得分图转换为二进制掩码，然后对这些二进制掩码进行平均以获得最终的WMH分割。定量分析（通过骰子相似系数）和定性分析（通过视觉检查）揭示了所提出的方法的优越性能。这种后处理技术与所使用的模型无关。因此，它也可以应用于采用其他深度学习模型的情况，特别是当采用随机初始化并且预训练不可用时。
2018-07-21 cs.CV cs.LG stat.ML
An Enhanced Randomly Initialized Convolutional Neural Network for Columnar Cactus Recognition in Unmanned Aerial Vehicle Imagery
University of Manouba（马努巴大学）；Taibah University（塔伊巴大学）；Prince Sultan University（苏丹王子大学）；Arab Open University（阿拉伯开放大学）；University of Sfax（斯法克斯大学）
近年来，卷积神经网络（CNN）在遥感图像分类中取得了很好的效果。基于CNN的植物识别是当前深度学习的研究热点之一，因为它在不同的相关领域，特别是环境保护和自然保护领域具有重要的应用价值。自动识别保护区内的植物有助于这些区域的监测过程，并确保其生态系统的可持续性。在这项工作中，我们提出了一个增强的随机初始化卷积神经网络（ERI-CNN）的柱状仙人掌，这是一种特有的植物，存在于墨西哥东南部的特瓦坎Cuicatlán山谷的识别。我们使用了由一组研究人员创建的公共数据集，该数据集由20000多张遥感图像组成。实验结果证实了该模型的有效性相比，在文献中报道的其他模型，如InceptionV 3和修改后的LeNet-5 CNN。我们的ERI-CNN提供了98%的准确率，97%的精确率，97%的召回率，97.5%的f1分数和0.056的损失。
2021-05-10 cs.CV cs.LG
Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks
Rice University（莱斯大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文首次在未经训练的随机初始化 DNN 中发现兼具稀疏高效与天生鲁棒性的 RST 子网络，并提出 R2S 随机切换防御，为对抗鲁棒性和彩票假设提供新视角。
2025-01-04 cs.LG
Randomly initialized autoencoders: fixed points and edge-of-chaos
本文研究随机初始化自编码器的不动点问题，引入针对自编码器的局部与全局混沌边缘概念，结合随机矩阵理论与高斯过程不等式开展分析，为自编码器的稳定性研究提供理论支撑。
2026-08-18 cs.LG math.PR math.ST
Randomly Initialized Alternating Least Squares: Fast Convergence for Matrix Sensing
the Ohio State University（俄亥俄州立大学）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
我们考虑从随机线性测量重构秩一矩阵的问题，这是一个出现在信号处理、统计和机器学习中的各种问题中的任务。在本文中，我们专注于交替最小二乘（ALS）方法。虽然这个算法已经研究了一些以前的作品，他们中的大多数只显示收敛从初始化接近真正的解决方案，因此需要一个精心设计的初始化方案。然而，随机初始化通常被实践者所偏好，因为它是模型不可知的。在本文中，我们表明，ALS与随机初始化收敛到真正的解决方案与$\varepsilon$ -准确度在$O(\log n + \log (1/\varepsilon)) $迭代，只使用一个接近最佳的数量的样本，我们假设的测量矩阵是独立同分布。高斯，其中，我们用$n$表示环境维度。我们证明的关键是观察到ALS迭代的轨迹仅非常温和地依赖于随机测量矩阵的某些条目。数值实验证实了我们的理论预测。
2022-04-25 cs.IT cs.LG eess.SP
On Scrambling Phenomena for Randomly Initialized Recurrent Networks
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Irvine（加州大学欧文分校）；Columbia University（哥伦比亚大学）
递归神经网络（RNN）经常表现出复杂的动态特性，并且它们对初始化过程的敏感性通常使它们难以训练。最近的工作揭示了这种现象分析时，爆炸或消失的梯度可能会发生，这两种情况都是有害的训练动态。在本文中，我们指出了RNN和混沌动力系统之间的正式联系，并证明了RNN的一个比爆炸梯度所暗示的更强的定性现象。我们的主要结果证明，在标准初始化（例如，他，泽维尔等），RNN将表现出\textit{Li-Yorke chaos}，其中\textit{constant}概率为网络宽度的\textit{independent}。这解释了实验观察到的\textit{scrambling}现象，在该现象下，附近点的轨迹可能在某些时间步长期间看起来任意接近，但在未来的时间步长中将远离。与它们的前馈对应物形成鲜明对比的是，我们表明RNN中的混沌行为在小扰动下保持不变，并且它们的表达能力在反馈迭代次数中保持指数级。我们的技术论点依赖于将RNN视为非线性激活下的随机游走，并研究某些类型的高阶不动点的存在，称为\textit{periodic points}，导致从有序到混沌的相变。
2022-10-11 cs.AI cs.LG
Sign Lock-In: Randomly Initialized Weight Signs Persist and Bottleneck Sub-Bit Model Compression
Fujitsu Limited（富士通株式会社）；Tokai University（静冈大学）；Riken Center for AIP（理化学研究所AIP研究中心）
研究亚比特模型压缩中符号位的瓶颈问题，通过符号锁定理论解释权重符号的随机性来源，并提出一种从头开始的低秩符号模板训练方法以突破该瓶颈。
2026-06-02 cs.AI cs.CL cs.CV
Learning Non-Parametric Invariances from Data with Permanent Random Connectomes
Carnegie Mellon University（卡内基梅隆大学）
监督分类和一般机器学习中的基本问题之一是对数据中存在的非参数不变性进行建模。大多数现有技术集中于以不变性的形式对预期存在于数据中的参数干扰变换强制执行先验。直接从数据中学习非参数不变性仍然是一个重要的开放问题。在本文中，我们为卷积网络引入了一个新的架构层，它能够从数据本身学习一般不变性。这一层可以学习非参数变换的不变性，有趣的是，它激发并整合了永久随机连接体，因此被称为永久随机连接体非参数变换网络（PRC-NPTN）。PRC-NPTN网络使用随机连接（不仅仅是权重）进行初始化，这些连接是全连接卷积层中连接的一个小子集。重要的是，PRC-NPTNs中的这些连接一旦初始化就在整个训练和测试过程中保持永久性。永久随机连接体使这些架构比许多其他需要高度有序结构的主流网络架构在生物学上更松散。我们激励随机初始化的连接作为一种简单的方法来学习数据本身的不变性，同时调用对多个滋扰变换的不变性。我们发现，这些随机初始化的永久连接对泛化有积极影响，在执行数据本身的学习不变性的基准上，性能优于更大的ConvNet基线和最近提出的非参数转换网络（NPTN）。
2020-08-14 cs.CV cs.LG cs.NE
Enhanced accuracy through ensembling of randomly initialized auto-regressive models for time-dependent PDEs
Department of Civil and Systems Engineering, Johns Hopkins University（土木与系统工程系，约翰霍普金斯大学）
本文提出一种深度集成框架，通过并行训练多个随机初始化的自回归ML代理模型并在推断时聚合，缓解时间相关PDE预测中的误差累积，在三个动力系统上验证了其精度与效率优势。
2025-07-05 cs.AI cs.LG physics.comp-ph
THDC: Training Hyperdimensional Computing Models with Backpropagation
Ghent University - Department of Information Technology（根特大学-信息科技系）
THDC通过反向传播实现端到端超维度计算，用可训练嵌入替代随机初始化向量，并引入单层二进制神经网络优化类别表示，从而在降低维度的同时提升准确率。
2026-01-27 cs.LG
Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks
ETH Zurich（苏黎世联邦理工学院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
已知随机初始化的神经网络随着深度的增加而变得更难训练，除非使用诸如剩余连接和批量归一化之类的架构增强。在这里，我们通过重新审视深度网络中的随机初始化与随机矩阵乘积中的谱不稳定性之间的联系来研究这一现象。考虑到随机矩阵的丰富文献，发现非规范化网络中的中间表示的秩随着深度的增加而迅速崩溃并不奇怪。在这项工作中，我们强调了一个事实，即批量归一化是避免线性和ReLU网络排名崩溃的有效策略。利用马尔可夫链理论的工具，我们得到了一个有意义的深度线性网络的秩下界。从经验上讲，我们还证明了这种秩鲁棒性可以推广到ReLU网络。最后，我们在真实世界的数据集上进行了一系列广泛的实验，证实了秩稳定性确实是训练现代深度神经架构的关键条件。
2020-06-11 cs.LG stat.ML
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
On the Initialisation of Wide Low-Rank Feedforward Neural Networks
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
分析了宽随机初始化低阶前馈网络的混沌边缘动力学。公式的最佳权重和偏差方差从满秩扩展到低秩设置，并遵循乘法缩放。的原则二阶效应，方差的输入输出雅可比矩阵，推导出并示出增加的秩宽度比降低。这些结果告知从业者如何随机初始化前馈网络，减少可学习参数的数量，同时在相同的环境维度，允许减少相关网络的计算成本和内存限制。
2023-01-31 cs.LG stat.ML
Parameter-Efficient Tuning Makes a Good Classification Head
Tsinghua University（清华大学）；Shandong Woman University（山东女子学院）
近年来，预训练模型彻底改变了自然语言理解（NLU）的范式，我们在预训练的骨干（例如BERT）之后添加了一个随机初始化的分类头，并对整个模型进行微调。由于预训练的主干对改进做出了重大贡献，我们自然希望一个好的预训练的分类头也可以有益于训练。然而，骨干的最后一层输出，即分类头的输入，在微调过程中会发生很大变化，使得通常的仅头预训练（LP-FT）无效。在本文中，我们发现，参数有效的调整，使一个很好的分类头，我们可以简单地取代随机初始化的头一个稳定的性能增益。我们的实验表明，联合预训练的分类头与参数有效的调整一致地提高了GLUE和SuperGLUE中9个任务的性能。
2023-03-28 cs.CL cs.LG
Dual Lottery Ticket Hypothesis
Northeastern University（东北大学）；Santa Clara University（圣克拉拉大学）；Meta Research（Meta研究院）
充分利用神经网络的学习能力需要过参数化的稠密网络。另一方面，直接训练稀疏神经网络通常会导致不令人满意的性能。彩票假说（LTH）为研究稀疏网络训练和保持其容量提供了一个新的视角。具体地说，它声称通过迭代幅度修剪和保持有希望的可训练性（或者我们说处于可训练状态）找到的随机初始化网络中存在中奖彩票。在这项工作中，我们将LTH的中奖彩票视为处于可训练状态的子网络，并将其性能作为我们的基准，然后从互补的方向阐述双彩票假说（DLTH）：从随机初始化的稠密网络中随机选择子网络可以转化为可训练的条件，并且与LTH相比具有令人钦佩的性能-给定彩票池中的随机彩票可以被转换成中奖彩票。具体来说，通过使用均匀随机选择的子网络来表示一般情况下，我们提出了一个简单的稀疏网络训练策略，随机稀疏网络变换（Random Sparse Network Transformation，简称RNN），以证实我们的DLTH。具体地说，我们引入了一个正则化项，以借用学习能力，并实现信息挤出的权重将被掩盖。在完成随机选择的子网络的转换后，我们进行定期微调，以使用与LTH和其他强基线的公平比较来评估模型。在几个公共数据集上的大量实验以及与竞争方法的比较验证了我们的DLTH以及所提出的模型的有效性。本文的工作有望为稀疏网络训练的未来研究开辟新的方向。我们的代码可在https://github.com/yueb17/DLTH上获得。
2022-03-08 cs.LG
Effects of Data Geometry in Early Deep Learning
Brown University（布朗大学）
深度神经网络可以近似不同类型数据的函数，从图像到图形，具有不同的底层结构。这个底层结构可以被视为数据流形的几何形状。通过扩展神经网络的理论理解的最新进展，我们研究了如何随机初始化的神经网络与分段线性激活分裂的数据流形区域的神经网络的行为作为一个线性函数。我们推导出边界的线性区域的密度和这些边界上的数据流形的距离的界限。这导致了对随机初始化的深度神经网络在非欧几里德数据集上的表达能力的深入了解。我们用一个玩具监督学习问题来实证我们的理论结果。我们的实验表明，线性区域的数量在流形上变化，并且结果随着神经网络结构的变化而变化。我们进一步证明了线性区域的复杂性是如何不同的低维流形的图像相比，欧几里德空间，使用MetFaces数据集。
2022-12-29 cs.AI cs.LG
Find A Winning Sign: Sign Is All We Need to Win the Lottery
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
本文提出参数符号配置是向任意随机初始化网络传递泛化信息的关键，通过保留符号与稀疏性并降低对归一化层参数的依赖，使随机初始化网络能接近中奖彩票的性能。
2025-04-07 cs.AI cs.LG
Proving the Lottery Ticket Hypothesis: Pruning is All You Need
School of Computer Science, Hebrew University（希伯来大学计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
彩票假设（Frankle and Carbin，2018）指出，随机初始化的网络包含一个小的子网络，当孤立训练时，可以与原始网络的性能竞争。我们证明了一个更强有力的假设（正如Ramanujan等人所解释的那样，2019），表明对于每个有界分布和每个具有有界权重的目标网络，具有随机权重的充分过参数化神经网络包含与目标网络具有大致相同精度的子网络，无需任何进一步训练。
2020-02-03 cs.LG stat.ML
Structured vs. Unstructured Pruning: An Exponential Gap
Department of Informatics, King’s College London（伦敦国王学院信息学院）
研究随机初始化网络中剪枝的局限性，证明神经元剪枝需要指数级更大的网络规模才能达到与非结构化剪枝相同的近似精度。
2026-06-12 cs.AI cs.LG
Benefits of Jointly Training Autoencoders: An Improved Neural Tangent Kernel Analysis
Iowa State University（爱荷华州立大学）；Texas A&M University（得克萨斯农工大学）；New York University（纽约大学）
最近在机器学习中的一个显着发现是，深度神经网络可以在大量过度参数化的情况下实现令人印象深刻的性能（在较低的训练误差和较高的泛化能力方面）。因此，在过去的一年里，社区对分析过参数化网络的优化和泛化特性越来越感兴趣，并且一些突破性的工作导致了重要的理论进展。然而，大多数现有的工作仅适用于监督学习场景，因此仅限于分类和回归等设置。相比之下，过度参数化在无监督环境中的作用受到的关注要少得多。在本文中，我们研究了具有ReLU激活的两层过参数化自编码器的梯度动力学。我们对给定的训练数据集做了很少的假设（除了温和的非退化条件）。从一个随机初始化的自动编码器网络开始，我们严格证明了梯度下降在两种学习机制中的线性收敛性，即：（i）弱训练机制，其中只有编码器被训练，以及（ii）联合训练机制，其中编码器和解码器都被训练。我们的研究结果表明，联合训练在寻找全局最优值方面优于弱训练，大大降低了所需的过度参数化水平。我们还分析了权重绑定自编码器的情况（这是实际设置中常用的架构选择），并证明在过度参数化的设置中，从随机初始化的点训练这样的网络会导致某些意想不到的退化。
2020-03-02 cs.LG stat.ML
Max-Pooling Loss Training of Long Short-Term Memory Networks for Small-Footprint Keyword Spotting
Google Brain（谷歌大脑）
我们提出了一个基于最大池的损失函数，用于训练长短期记忆（LSTM）网络，用于小足迹关键字定位（KWS），具有较低的CPU，内存和延迟要求。最大池化损失训练可以通过用交叉熵损失训练的网络初始化来进一步引导。采用基于后验平滑的评价方法来衡量关键字定位性能。我们的实验结果表明，使用交叉熵损失或最大池化损失训练的LSTM模型优于交叉熵损失训练的基线前馈深度神经网络（DNN）。此外，与交叉熵损失训练的LSTM相比，具有随机初始化网络的最大池化损失训练的LSTM表现更好。最后，使用交叉熵预训练网络初始化的最大池化损失训练的LSTM显示出最佳性能，与基线前馈DNN相比，在曲线下面积（AUC）测量中产生了$67.6\%$相对减少。
2017-05-05 cs.CL cs.LG stat.ML
Reducing Neural Network Parameter Initialization Into an SMT Problem
Department of EECS, Oregon State University（俄勒冈州立大学电子工程与计算机科学系）
训练神经网络（NN）取决于多个因素，包括但不限于初始权重。在本文中，我们专注于初始化深度NN参数，使其性能更好，与随机或零初始化相比。我们通过将初始化过程简化为SMT求解器来实现这一点。以前的工作考虑某些激活函数的小神经网络，但所研究的神经网络是一个深度网络与不同的激活函数。实验结果表明，与随机初始化网络相比，该参数初始化方法具有更好的性能。
2020-11-09 cs.CC cs.LG stat.ML
Cluster-based Input Weight Initialization for Echo State Networks
Technische Universität Dresden（德累斯顿工业大学）；Ghent University（根特大学）；Princeton University（普林斯顿大学）
回声状态网络（ESN）是一种特殊类型的递归神经网络（RNN），其中输入和递归连接传统上是随机生成的，并且只训练输出权重。尽管最近成功的ESN在各种任务的音频，图像和雷达识别，我们假设，一个纯粹的随机初始化是不是理想的方式初始化ESN。这项工作的目的是提出一个无监督的初始化的输入连接使用的$K$ -均值算法的训练数据。我们表明，对于各种各样的数据集，这种初始化执行相当于或优于随机初始化的ESN，同时需要显着减少水库神经元。此外，我们讨论了这种方法提供了一个机会，估计一个合适的大小的水库的基础上先验知识的数据。
2022-01-20 cs.AI cs.LG cs.NE
Why Neural Networks Work
CableLabs（有线电视实验室）
我们认为，全连接前馈神经网络（FCNN），也称为多层感知器（MLP）的许多属性，是可以解释从一对操作的分析，即随机投影到一个更高的维度空间比输入，其次是稀疏化操作。为了方便起见，我们按照Dasgupta的术语将这对连续操作称为扩展和稀疏。我们展示了扩展和稀疏化如何解释文献中讨论过的观察到的现象，例如所谓的彩票假设，随机初始化的未训练神经网络令人惊讶的良好性能，Dropout在训练中的功效，最重要的是，过度参数化模型的神秘泛化能力，首先由Zhang等人强调，随后由Belkin等人甚至在非神经网络模型中识别。
2022-11-26 cs.CY cs.LG cs.NE
Deep Networks and the Multiple Manifold Problem
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
我们研究了多流形问题，这是一个基于机器视觉应用的二进制分类任务，其中训练了一个深度全连接神经网络来分离单位球面的两个低维子流形。我们提供了一个分析的一维情况下，证明了一个简单的流形配置，当网络深度$L$是大的相对于某些几何和统计属性的数据，网络宽度$n$增长作为一个足够大的多项式在$L$，和i.i.d.流形样本在$L$中是多项式的，随机初始化梯度下降快速学习以高概率完美地分类两个流形。我们的分析在实际模型问题的背景下展示了深度和宽度的具体好处：深度作为拟合资源，较大的深度对应于更平滑的网络，可以更容易地分离类流形，宽度作为统计资源，使随机初始化的网络及其梯度集中。讨论的中心是神经切核及其在训练过参数化神经网络的非渐近分析中的作用;对于这篇文献，我们贡献了深度全连接网络的神经切核的本质上最优的集中率，需要宽度$n \gtrsim L\,\mathrm{poly}(d_0)$以在单位球$\mathbb{S}^{n_0-1}$的$d_0$维子流形上实现初始核的均匀集中，和一个非渐近框架，用于建立在NTK制度与结构化数据训练的网络泛化。证明大量使用鞅集中度来最佳地处理初始随机网络各层之间的统计依赖性。这种方法应该是用于建立其他网络架构的类似结果。
2021-05-06 cs.LG math.OC stat.ML
Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture
本文提出宽神经网络作为计算无巧合猜想的基线，通过证明具有零均值激活函数的神经网络输出几乎独立，以衡量AI可解释性的局限性。
2026-01-11 cs.LG stat.ML
Partially Frozen Random Networks Contain Compact Strong Lottery Tickets
Institute of Science Tokyo（科学东京大学）；NTT Corporation（NTT公司）
本文提出通过冻结随机网络中的部分初始权重来减小强彩票的内存占用，实验表明该方法在精度与模型规模权衡上优于稠密和随机剪枝源网络。
2025-02-08 cs.AI cs.LG stat.ML
A note on Linear Bottleneck networks and their Transition to Multilinearity
University of California, San Diego（加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute（哈利哲奥卢数据科学研究所）
随机初始化的宽神经网络随着宽度的增长过渡到权重的线性函数，在初始化周围的半径为$O(1)$的球中。该结果的必要条件是网络的所有层都足够宽，即，所有宽度趋于无穷大。然而，当这种无限宽度假设被违反时，向线性的过渡就中断了。在这项工作中，我们表明，线性网络的瓶颈层学习双线性函数的权重，在一个球的半径$O(1)$周围的初始化。通常，对于$B-1$瓶颈层，网络是权值的度$B$多线性函数。重要的是，度只取决于瓶颈的数量，而不是网络的总深度。
2022-06-30 cs.LG stat.ML
Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
University of California, Los Angeles (UCLA)（加利福尼亚大学洛杉矶分校）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文研究在线持续学习中生长型与弹性型神经网络的可塑性，实验显示自适应生长型和弹性型神经网络可维持高准确率、不丧失可塑性，或为在线持续学习提供有前景的算法类别。
2026-08-04 cs.LG
Logits are predictive of network type
Quintic AI（昆蒂克人工智能公司）
我们证明，预测哪个深度网络生成了给定的logit向量是可能的，其准确性远远高于偶然性。我们在数据集上使用了许多网络，这些网络使用随机权重或预训练权重进行初始化，以及微调网络。然后在该数据集的训练集的logit向量上训练分类器，以将logit向量映射到生成它的网络索引。然后在数据集的测试集上评估分类器。随机初始化网络的结果更好，但也适用于预训练网络和微调网络。使用非标准化logits的分类精度高于标准化logits。我们发现，当将分类器应用于相同的网络但具有不同的权重集时，几乎没有转移。除了帮助更好地理解深度网络及其编码不确定性的方式外，我们预计我们的发现在某些应用中是有用的（例如，为某种类型的网络定制对抗攻击）。代码可在https://github.com/aliborji/logits上获得。
2022-11-04 cs.AI cs.CV cs.LG
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo（圣保罗大学）；Ghent University（根特大学）
深度学习文献不断更新新的架构和训练技术。然而，权重初始化被最近的研究所忽视，尽管有一些有趣的发现关于随机权重。另一方面，最近的工作已经接近网络科学，以了解训练后的人工神经网络（ANN）的结构和动力学。因此，在这项工作中，我们分析了随机初始化网络中神经元的中心性。我们发现，较高的神经元强度方差可能会降低性能，而较低的神经元强度方差通常会提高它，然后提出了一种新的方法来重新布线神经元连接根据优先连接（PA）规则的基础上，他们的强度，这显着减少了强度方差的层初始化的常见方法。从这个意义上说，PA重新布线仅重组连接，同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明，在大多数情况下，无论是在训练还是测试过程中，当使用简单和复杂的架构和学习时间表时，性能都得到了提高。我们的研究结果表明，除了幅度之外，权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
Graph Neural Network Expressivity and Meta-Learning for Molecular Property Regression
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cornell University（康奈尔大学）
我们证明了元学习的模型不可知算法的适用性，特别是爬行动物，GNN模型在分子回归任务。使用元学习，我们能够学习新的化学预测任务，只需几个模型更新，而使用随机初始化的GNN需要从头开始学习每个回归任务。我们的实验表明，GNN层的表现力与改进的元学习相关。此外，我们还对GNN集成进行了实验，这些集成为k-shot学习提供了最佳性能和快速收敛。
2022-11-24 cs.LG q-bio.BM q-bio.QM
Convolutional and Residual Networks Provably Contain Lottery Tickets
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
彩票假说继续对小规模深度神经网络的探索产生深远的实际影响，这些网络可以以具有竞争力的性能解决现代深度学习任务。这些彩票是通过修剪大型随机初始化的神经网络来识别的，这些神经网络的架构与其应用一样多样化。然而，证明它们存在的理论见解主要集中在具有ReLU激活函数的深度全连接前馈网络上。我们证明，也可以配备几乎任意的激活函数的卷积和残留层组成的现代架构可以包含彩票具有很高的概率。
2022-05-04 cs.AI cs.LG
Which Neural Net Architectures Give Rise To Exploding and Vanishing Gradients?
我们对随机初始化的具有ReLU激活的全连接网络N中梯度的统计行为进行了严格的分析。我们的研究结果表明，在输入输出雅可比矩阵N的条目的平方的经验方差是指数在一个简单的架构相关的常数β，给出的隐藏层宽度的倒数的总和。当β较大时，N在初始化时计算的梯度变化很大。我们的方法补充了随机网络的平均场理论分析。从这个角度来看，我们严格计算有限宽度的修正的统计梯度在混沌的边缘。
2018-10-27 cs.LG math.PR math.ST
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
最近，Frankle & Carbin（2019）证明，随机初始化的密集网络包含子网络，一旦找到，可以训练这些子网络，以达到与训练的密集网络相当的测试精度。然而，找到这些高性能的可训练子网络是昂贵的，需要训练和修剪权重的迭代过程。本文提出（并证明）一个更强的多奖彩票假说：一个充分过参数化的具有随机权值的神经网络包含多个子网络（中奖彩票），其（a）具有与具有学习的权重的密集目标网络相当的准确性（奖品1），（b）不需要任何进一步的训练来实现奖品1（奖品2），以及（c）对于极端形式的量化是鲁棒的（即，二进制权重和/或激活）（奖3）。这为简单地通过修剪和量化随机加权的全精度神经网络来学习紧凑但高度精确的二进制神经网络提供了新的范例。我们还提出了一种寻找多奖彩票（MPTs）的算法，并通过在CIFAR-10和ImageNet数据集上进行一系列实验来测试它。实证结果表明，随着模型的深入和广泛，多奖彩票开始达到类似（有时甚至更高）的测试准确性，与经过权重训练的大得多的全精度彩票相比。在没有更新权重值的情况下，我们的MPTS-1/32不仅设置了新的二进制权重网络最先进的（SOTA）Top-1准确率-在CIFAR-10上为94.8%，在ImageNet上为74.03%-而且分别比全精度同行高出1.78%和0.76%。此外，我们的MPT-1/1在CIFAR-10上实现了二进制神经网络的SOTA Top-…
2021-03-17 cs.CV cs.LG
Understanding the Benefits of Image Augmentations
University of Rochester（罗切斯特大学）
该研究用CKA方法探究图像增强对ResNet不同层的影响，发现影响模式与模型深度、增强类型及初始化方式相关，为网络微调和层冻结等应用提供依据。
2023-06-09 cs.CV cs.LG eess.IV
Ligand Pose Optimization with Atomic Grid-Based Convolutional Neural Networks
University of Pittsburgh（匹兹堡大学）
对接是计算药物发现中的一种重要工具，旨在通过位姿评分和优化相结合来预测配体与靶蛋白的结合位姿。相对于原子位置可微分的评分函数可以用于对接的姿态的评分和基于梯度的优化。使用可微分的基于网格的原子表示作为输入，我们证明了通过训练卷积神经网络（CNN）来识别绑定姿势的评分函数也可以应用于姿势优化。我们还表明，一个迭代训练的CNN，包括在其训练集中的第一个CNN优化的姿势，在优化随机初始化的姿势比第一个CNN评分函数或AutoDock Vina更好。
2017-10-20 cs.LG q-bio.BM stat.ML
Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates
本文提出了一种完全可微的SLT发现方法，通过连续放松伯努利门实现端到端优化，实现更高的稀疏性与更小的准确率损失。
2026-03-09 cs.AI cs.LG
On the Convergence of Certified Robust Training with Interval Bound Propagation
University of California, Los Angeles（加州大学洛杉矶分校）
区间定界传播（IBP）是目前最先进的训练神经网络的方法的基础，当存在潜在的对抗性扰动时，它具有可证明的鲁棒性保证，而IBP训练的收敛性在现有文献中仍然未知。在本文中，我们提出了一个理论分析的收敛性IBP训练。在超参数化假设下，分析了IBP鲁棒训练的收敛性。我们表明，当使用IBP训练训练一个随机初始化的具有逻辑损失的双层ReLU神经网络时，如果我们有足够小的扰动半径和大的网络宽度，梯度下降可以以很高的概率线性收敛到零鲁棒训练误差。
2022-03-16 cs.LG
Superpixel Segmentation via Convolutional Neural Networks with Regularized Information Maximization
Denso IT Laboratory, Inc.（电装IT实验室有限公司）
我们通过在推理时间优化随机初始化的卷积神经网络（CNN），提出了一种无监督的超像素分割方法。我们的方法通过CNN从没有任何标签的单个图像生成超像素，通过在推理时间内最小化用于超像素分割的建议目标函数。与许多现有方法相比，我们的方法有三个优点：（i）利用CNN的图像先验进行超像素分割，（ii）根据给定图像自适应地改变超像素的数量，以及（iii）通过向目标函数添加辅助成本来控制超像素的属性。在BSDS500和SBD数据集上，我们定量和定性地验证了我们方法的优点。
2020-06-26 cs.CV cs.LG
Initialization Matters: Regularizing Manifold-informed Initialization for Neural Recommendation Systems
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)（南洋理工大学-不列颠哥伦比亚大学老年活跃生活联合卓越研究中心）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Alibaba Group（阿里巴巴集团）
适当的初始化对神经网络的优化和推广是至关重要的。然而，大多数现有的神经推荐系统随机初始化用户和项目嵌入。在这项工作中，我们提出了一个新的初始化方案的用户和项目嵌入称为拉普拉斯特征映射与流行为基础的正则化孤立数据（LEPORID）。LEPORID赋予嵌入关于数据流形上的多尺度邻域结构的信息，并执行自适应正则化以补偿数据分布尾部的高嵌入方差。利用矩阵的稀疏性，LEPORID嵌入可以有效地计算。我们在广泛的神经推荐模型中评估LEPORID。与最近令人惊讶的发现，简单的K-最近邻（KNN）方法往往优于神经推荐系统，我们表明，现有的神经系统初始化LEPORID往往表现相当或优于KNN。为了最大限度地提高初始化的效果，我们提出了双损失剩余推荐（DLR 2）网络，当用LEPORID初始化时，它的性能大大优于传统和最先进的神经推荐系统。
2021-08-12 cs.IR cs.LG
Exploration by Random Network Distillation
OpenAI；Univ. of Edinburgh（爱丁堡大学）
我们为深度强化学习方法引入了一个探索奖励，该方法易于实现，并为执行的计算增加了最小的开销。额外的好处是神经网络预测由固定随机初始化的神经网络给出的观察特征的误差。我们还介绍了一种方法，灵活地结合内在和外在的奖励。我们发现，随机网络蒸馏（RND）奖金结合这种增加的灵活性，使几个硬探索雅达利游戏的重大进展。特别是，我们建立了最先进的性能蒙特祖玛的复仇，一个游戏著名的深度强化学习方法的困难。据我们所知，这是第一个在不使用演示或访问游戏底层状态的情况下，在这个游戏上实现优于平均人类表现的方法，并且偶尔完成第一关。
2018-10-30 cs.AI cs.LG stat.ML
Model-tuning Via Prompts Makes NLP Models Adversarially Robust
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Science (IISc)（印度科学学院）
本文提出通过提示模板进行下游适配的 MVP 方法，在多数据集、攻击和模型上显著提升 NLP 对抗鲁棒性，并揭示 MLP-FT 脆弱源于任务错配与随机初始化参数。
2023-12-06 cs.CL cs.LG
Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights
University of California, Davis（加州大学戴维斯分校）；University of Melbourne（墨尔本大学）
本文研究了深度神经网络中随机权重的有限维分布高斯近似，揭示了在不同层宽下收敛速度的普遍性。
2026-03-04 cs.LG math.PR math.ST
Non-convergence of stochastic gradient descent in the training of deep neural networks
ETH Zurich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
深度神经网络已经成功地在各种应用领域中使用随机梯度下降进行了训练。然而，没有严格的数学解释为什么它如此有效。用随机梯度下降训练神经网络有四个不同的离散化参数：（i）网络结构;（ii）训练数据的量;（iii）梯度步长的数量;以及（iv）随机初始化梯度轨迹的数量。虽然可以证明，如果所有四个参数都以正确的顺序发送到无穷大，则近似误差收敛到零，但我们在本文中证明，如果ReLU网络的深度远远大于其宽度，并且随机初始化的数量没有足够快地增加到无穷大，则随机梯度下降无法收敛。
2021-01-29 cs.LG cs.NA math.NA
