CKmeans and FCKmeans : Two deterministic initialization procedures for Kmeans algorithm using a modified crowding distance
LISIA Laboratory, NTIC faculty, university of Constantine2（康斯坦丁第二大学NTIC学院LISIA实验室）
本研究针对K-means聚类初始化问题，提出基于改进拥挤距离的确定性初始化方法CKmeans和FCKmeans，选取更拥挤点为初始质心，实验证明其聚类准确率优于Kmeans与Kmeans++，为改进K-means提供新方向。
2023-05-01 cs.LG
Approximate Message Passing with Spectral Initialization for Generalized Linear Models
Institute of Science and Technology (IST) Austria（奥地利科学技术研究所）；University of Cambridge（剑桥大学）
我们考虑的问题估计的信号通过一个广义线性模型获得的测量。我们专注于基于近似消息传递（AMP）的估计器，这是一系列具有许多吸引人功能的迭代算法：AMP在高维极限中的性能可以在合适的模型假设下简洁地描述; AMP也可以根据信号条目的经验分布进行定制，并且对于广泛的一类估计问题，AMP在所有多项式时间算法中被证明是最佳的。然而，AMP的一个主要问题是，在许多模型（如相位恢复）中，它需要与地面实况信号相关的初始化，并独立于测量矩阵。假设这样的初始化是可用的通常是不现实的。在本文中，我们解决了这个问题，提出了一个AMP算法初始化的谱估计。在这样的初始化下，标准AMP分析失败，因为谱估计器以复杂的方式依赖于设计矩阵。我们的主要贡献是一个严格的表征AMP的性能与频谱初始化的高维限制。关键的技术思想是定义和分析一个两阶段的人工AMP算法，首先产生的频谱估计，然后密切接近的真实AMP的迭代。我们还提供了数值结果，证明了所提出的方法的有效性。
2021-02-17 cs.IT cs.LG math.IT
Improved weight initialization for deep and narrow feedforward neural network
Kyungpook National University（庆北国立大学）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
本文针对极深窄前馈网络中ReLU死亡导致的训练困难，提出一种新的权重初始化方法，并通过理论性质分析和实验对比验证其能有效促进信号传播。
2024-04-01 cs.LG cs.NE
PCA Initialization for Approximate Message Passing in Rotationally Invariant Models
University of Cambridge（剑桥大学）
我们研究的问题，估计秩$1$信号中存在的旋转不变的噪声，一类扰动比高斯噪声更一般。主成分分析（PCA）提供了一个自然的估计，其性能的尖锐的结果已经在高维制度。最近，一个近似消息传递（AMP）算法已被提出作为一种替代估计与潜在的PCA的精度提高。然而，现有的AMP分析需要与信号相关且与噪声无关的初始化，这在实践中通常是不现实的。在这项工作中，我们结合了这两种方法，并提出了初始化AMP与PCA。我们的主要结果是一个严格的渐近特性，这个估计的性能。AMP算法及其分析都不同于以前在高斯设置中导出的那些：在每次迭代中，我们的AMP算法需要一个特定的项来解释PCA初始化，而在高斯情况下，PCA初始化只影响AMP的第一次迭代。证明是基于一个两阶段的人工AMP，首先近似的PCA估计，然后模仿真正的AMP。我们的数值模拟显示AMP的结果和理论预测之间有很好的一致性，并提出了一个有趣的开放方向实现贝叶斯最优性能。
2021-10-14 cs.IT cs.LG math.IT
Influence of Initialization on the Performance of Metaheuristic Optimizers
Xidian University（西安电子科技大学）；Middlesex University（密德萨斯大学）
所有的超启发式优化算法都需要一些初始化，并且这种优化器的初始化通常是随机进行的。然而，初始化可以有一些显着的影响，这样的算法的性能。本文系统地比较了差分进化（DE）、粒子群优化（PSO）、布谷鸟搜索（CS）、人工蜂群（ABC）算法和遗传算法（GA）等5种优化算法在22种不同初始化方法下的收敛性和精度。我们使用了19个不同的测试函数，具有不同的属性和方式来比较初始化，人口规模和迭代次数的可能影响。严格的统计排序测试表明，DE算法的函数中有43.37%的函数在不同初始化方法下表现出显著差异，而PSO和CS算法的函数中有73.68%的函数在不同初始化方法下表现出显著差异。仿真结果表明，差分进化算法对初始值不敏感，而粒子群算法和混沌进化算法对初始值敏感。此外，在函数评价（FE）的最大数目相同的条件下，种群大小也可以有很强的影响。粒子群优化通常需要较大的种群，而布谷鸟搜索只需要较小的种群规模。差分进化在很大程度上依赖于迭代次数，相对较小的种群和更多的迭代可以导致更好的结果。此外，ABC是更敏感的初始化，而这样的初始化对遗传算法的影响不大。一些概率分布，如贝塔分布，指数分布和瑞利分布通常可以导致更好的性能。本研究的意义和进一步的研究课题也进行了详细讨论。
2020-03-08 cs.LG cs.NE math.OC
IKUN: Initialization to Keep snn training and generalization great with sUrrogate-stable variaNce
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Pengcheng Laboratory（鹏城实验室）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
针对传统初始化方法在脉冲神经网络（SNN）中表现不佳的问题，提出IKUN——一种集成代理梯度函数的方差稳定初始化方法，可提升训练效率50%、训练精度达95%、泛化精度达91%，并促进模型收敛到更平坦的最小值。
2024-11-27 cs.AI cs.LG
Initialization Schemes for Kolmogorov-Arnold Networks: An Empirical Study
National and Kapodistrian University of Athens（雅典大学）；California Institute of Technology（加州理工学院）
本文研究了基于样条的KANs初始化方案，提出两种理论驱动方法和一个可调幂律家族，通过大规模网格搜索、PDE基准和Feynman数据集评估，发现幂律初始化在多种任务和架构中表现最佳。
2026-03-30 cs.LG
Multilevel Initialization for Layer-Parallel Deep Neural Network Training
Sandia National Laboratories（桑迪亚国家实验室）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of New Mexico（新墨西哥大学）
本文研究了多层初始化策略训练非常深的神经网络与层并行多重网格求解器。该计划是基于连续的解释的训练问题作为一个问题的最优控制，其中神经网络表示为离散化的时间依赖的常微分方程。一个关键目标是开发一种方法，能够智能地初始化可扩展层并行训练所支持的非常深的网络的网络参数。为此，我们在时域上应用细化策略，这相当于在层维度上进行细化。由此产生的改进创建了深度网络，并对来自粗训练网络的网络参数进行了良好的初始化。我们调查这种多级“嵌套迭代”的网络训练策略的有效性，显示支持的数值证据，减少运行时间等效的准确性。此外，我们还研究了初始化策略是否对整个训练过程产生了正则化效果，并降低了对超参数的敏感性和初始网络参数的随机性。
2019-12-19 cs.LG math.OC stat.ML
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
梯度下降（GD）型最优化方法是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功，它仍然是-即使在最简单的情况下，普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题，以证明（或反驳）GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想，独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中，我们证明了这一猜想的情况下，输入数据的概率分布是一个紧凑的区间上的连续均匀分布，其中的概率分布的神经网络参数的随机初始化是标准正态分布，和所考虑的目标函数是连续和分段仿射线性。粗略地说，在我们的数学收敛分析中的关键成分是（i）证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}，（ii）证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition}，并且，此后，（iii）应用[Fehrman，B.，Gess，B.，Jentzen，A.，非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21（136）：1- 48，2020]以建立具有随机初…
2021-08-10 cs.LG cs.NA math.NA
Principal Components for Neural Network Initialization
Simula Metropolitan（Simula 城市）；University of Science（科学大学）
本文针对训练前对数据使用PCA导致XAI解释复杂的问题，提出用主成分初始化网络首层的PCsInit及其两个变体，以获得更直接的解释、理论保证和更好的反向传播训练效果。
2025-09-29 cs.AI cs.LG
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo（圣保罗大学）；Ghent University（根特大学）
深度学习文献不断更新新的架构和训练技术。然而，权重初始化被最近的研究所忽视，尽管有一些有趣的发现关于随机权重。另一方面，最近的工作已经接近网络科学，以了解训练后的人工神经网络（ANN）的结构和动力学。因此，在这项工作中，我们分析了随机初始化网络中神经元的中心性。我们发现，较高的神经元强度方差可能会降低性能，而较低的神经元强度方差通常会提高它，然后提出了一种新的方法来重新布线神经元连接根据优先连接（PA）规则的基础上，他们的强度，这显着减少了强度方差的层初始化的常见方法。从这个意义上说，PA重新布线仅重组连接，同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明，在大多数情况下，无论是在训练还是测试过程中，当使用简单和复杂的架构和学习时间表时，性能都得到了提高。我们的研究结果表明，除了幅度之外，权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
When Layers Play the Lottery, all Tickets Win at Initialization
Escola Politécnica, Universidade de São Paulo（圣保罗大学理工学院）；Institute of Computing, University of Campinas（坎皮纳斯大学计算机研究所）
本文从层剪枝视角研究彩票假说，提出在初始化时发现获胜层子网络，无需训练稠密网络，显著加速训练并减少高达51%碳排放，且对对抗样本和分布外样本具有鲁棒性。
2024-03-19 cs.LG
Target noise: A pre-training based neural network initialization for efficient high resolution learning
King Abdullah University of Science and Technology（卡布尔大学科学与技术学院）
本文提出一种基于噪声预训练的神经网络初始化方法，通过自监督学习提升高分辨率学习的收敛速度和稳定性。
2026-02-06 cs.AI cs.LG
Dynamical Isometry for Residual Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
神经网络的训练成功率、训练速度和泛化能力的好坏，关键取决于随机参数初始化的选择。已经表明，对于多个架构，初始动态等距是特别有利的。然而，用于残差块的已知初始化方案错过了该属性，并且在没有批量归一化或缺乏特征多样性的情况下，由于增加深度和不稳定性而遭受不同输入的降级的可分离性。我们提出了一个随机初始化方案RISOTTO，即使对于有限的深度和宽度，也可以使用ReLU激活函数实现剩余网络的完美动态等距。它平衡了残差和跳跃分支的贡献，不像其他方案，最初偏向跳跃连接。在实验中，我们证明，在大多数情况下，我们的方法优于初始化方案提出，使批量归一化过时，包括修复和SkipInit，并促进稳定的训练。此外，结合批量归一化，我们发现RISOTTO通常可以实现整体最佳结果。
2022-10-05 cs.LG
Artificial Neural Networks generated by Low Discrepancy Sequences
NVIDIA（英伟达）
提出利用低偏差序列在稠密图上生成稀疏神经网络，支持确定性初始化与从头稀疏训练，避免存储体冲突，在低计算复杂度下达到接近稠密网络的准确率。
2023-11-27 cs.LG
GUIDED Network-Agnostic Feature Initialization for Spatial Transferability in GNN-based Models
Technical University of Munich（慕尼黑工业大学）
研究针对交通分配问题中GNN模型空间泛化差的问题，提出网络无关初始化层GUIDED，通过在虚拟链路注入需求标量属性标准化输入空间。实验表明其能提升模型性能、鲁棒性及参数效率，减少训练时间，为相关空间问题提供通用蓝图。
2026-07-22 cs.AI cs.LG
Value Function Initialization for Knowledge Transfer and Jump-start in Deep Reinforcement Learning
本文提出DQInit方法，通过重用紧凑表格Q值并采用基于已知度的机制将其软集成到DRL中，有效解决了连续空间和噪声近似带来的挑战，显著提升了早期学习效率、稳定性和整体性能。
2025-08-12 cs.AI cs.LG cs.LO
Hcore-Init: Neural Network Initialization based on Graph Degeneracy
École Polytechnique（巴黎综合理工学院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）；LIRMM（法国计算机科学、机器人学与微电子实验室）；Univ Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
神经网络是人工智能的巅峰之作，因为近年来我们目睹了许多新颖的深度学习架构、学习和优化技术。利用神经网络固有地在神经元层之间构成多部图的事实，我们的目标是直接分析它们的结构，以提取可以改善学习过程的有意义的信息。我们的知识图谱挖掘技术，以提高神经网络的学习还没有得到彻底的研究。在本文中，我们提出了一个自适应版本的k-核心结构，用于从深度学习架构中提取的完整加权多部图。由于多部图是二部图的组合，而二部图又是超图的关联图，因此我们设计了超图的k-超核分解，即k-核退化的超图模拟。我们将k-hypercore应用于几种神经网络架构，更具体地说，应用于卷积神经网络和多层感知器，在非常短的预训练后进行图像识别任务。然后利用神经元超核数提供的信息重新初始化神经网络的权值，从而使梯度优化方案偏置。大量的实验证明，k-hypercore优于最先进的初始化方法。
2022-09-09 cs.LG stat.ML
Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures
Department of Automation Technology（自动化技术系）；Learning Systems South Westphalia University of Applied Sciences Soest, Germany（学习系统南西弗莱西亚应用科学大学Soest德国）
本文提出一种利用数据内在频谱和时间结构指导网络初始化和架构配置的先验信息设计策略，通过减少编码器维度提升模型效率和可解释性。
2026-03-17 cs.LG
Parametric entropy based Cluster Centriod Initialization for k-means clustering of various Image datasets
National Institute of Technology Srinagar（斯利那加国家技术学院）
本文针对 k-means 质心初始化敏感问题，在基于熵的初始化中引入多种参数熵，并在六类图像数据集上验证其相较传统方法的性能优势。
2023-08-15 cs.IT cs.LG math.IT
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with piecewise affine activation
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））
本文研究了在过参数化 regime 下，使用分段仿射激活函数的人工神经网络通过批量梯度下降优化时的收敛速度问题，证明了在神经网络宽度足够大且学习率足够小的情况下，均方误差以线性速度收敛到零。
2026-05-19 cs.LG cs.NA math.NA
Efficient Neural Task Adaptation by Maximum Entropy Initialization
Dalhousie University（达尔豪斯大学）；Imagia Cybernetics（Imagia控制论公司）；Polish Academy of Sciences（波兰科学院）
将知识从一个神经网络转移到另一个神经网络已被证明有助于用很少的训练样本学习任务。流行的微调方法可能会通过大量的高能量随机噪声污染预先训练的特征。这种噪声主要是由于不小心替换了特定于任务的参数而产生的。我们从理论上分析了这种知识污染的分类任务，并提出了一个实用和易于应用的方法来捕获和最大限度地减少污染。在我们的方法中，输出估计的熵最初被最大化，并且第一个反向传播的误差在最后一层的输出处被停止。我们所提出的方法不仅优于传统的微调，但也显着加快了学习器的收敛。它对随机性具有鲁棒性，并且与体系结构的选择无关。总的来说，我们的实验表明，到目前为止，迁移学习的力量被大大低估了。
2019-07-12 cs.CV cs.LG cs.NE
A type of generalization error induced by initialization in deep neural networks
Institute for Advanced Study（普林斯顿高等研究院）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
初始化和损失函数如何影响深度神经网络（DNN）的学习，特别是其泛化误差，是实践中的一个重要问题。在这项工作中，通过利用NTK机制\citep{jacot2018neural,lee2019wide}中DNN训练动态的线性，我们为这个问题提供了一个明确和定量的答案。专注于回归问题，我们证明了，在NTK制度，任何损失的一般类的功能，DNN发现相同的\emph{global}最小值--一个是最接近的参数空间中的初始值，或等价地，一个是最接近的初始DNN输出在相应的再生核希尔伯特空间。使用这些优化问题，我们量化的初始输出的影响，并证明了一个随机的非零增加的泛化误差。我们还提出了一个反对称初始化（ASI）技巧，可以消除这种类型的错误并加速训练。为了理解上述结果是否普遍成立，我们还在非NTK机制下对DNN进行了实验，这在定性意义上证明了我们的理论结果和ASI技巧的有效性。总的来说，我们的工作是进一步研究初始化和损失函数对DNN泛化的影响的基线，这可能会在实践中指导和改进DNN的训练。
2020-06-01 cs.AI cs.LG stat.ML
A Statistical Difference between Single-Layer Learning and Hierarchical Learning in Wide Neural Networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
研究宽神经网络中单层与分层学习的差异，通过研究三层有限但大量隐藏单元的神经网络，发现训练输入到隐藏层权重泛化误差更小，且固定权重设置在参数空间有奇异性，揭示奇异性在宽神经网络中有重要作用。
2026-07-28 cs.LG math.ST stat.ML
A Geometry-Adaptive Deep Variational Framework for Phase Discovery in the Landau-Brazovskii Model
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；School of Mathematical Sciences, Laboratory of Mathematics and Complex Systems, Ministry of Education, Beijing Normal University（北京师范大学数学科学学院）；School of Mathematical Sciences, Beijing International Center for Mathematical Research, Center for Quantitative Biology, Center for Machine Learning Research, Peking University（北京大学国际数学研究所以及定量生物学中心、机器学习研究中心）
本文提出GeoDVF框架，通过自适应几何参数和神经网络优化，解决LB模型中有序相发现的计算难题，实现稳健且几何一致的变分求解。
2026-03-05 cond-mat.mtrl-sci cs.LG
A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning
通过分析对角线性网络中的预训练-微调流程，发现不同初始化尺度导致四种微调模式，其中较小的早期层初始化有助于特征重用和精炼，提升泛化能力。
2026-07-01 cs.LG stat.ML
Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function
Jagiellonian University（雅盖隆大学）
我们证明了在残差神经网络（ResNets）中，无论使用何种激活函数，动态等距都是可以实现的。我们这样做是通过推导，在自由概率和随机矩阵理论的帮助下，在大网络的宽度和深度限制下，初始化时的输入输出雅可比矩阵的谱密度的通用公式。由此产生的奇异值谱取决于一个单一的参数，我们计算各种流行的激活函数，通过分析在人工神经网络的信号传播。我们通过随机矩阵和ResNets应用于CIFAR-10分类问题的数值模拟证实了我们的结果。此外，我们研究的后果，这种普遍的行为的学习过程的初始阶段和后期阶段。我们的结论是提请注意一个简单的事实，即初始化作为激活函数的选择和学习速度之间的混杂因素。我们建议在ResNets中，这可以根据我们的结果解决，通过确保初始化时相同的动态等距水平。
2019-03-04 cs.LG stat.ML
Adaptive Seeding for Gaussian Mixture Models
Paderborn University（帕德博恩大学）
提出了多元高斯混合模型期望最大化算法的新的初始化方法。我们的方法是著名的$K$ -手段++初始化和冈萨雷斯算法的适应。因此，我们的目标是缩小简单随机（例如均匀）和复杂方法之间的差距，这主要取决于超参数的正确选择。我们广泛的实验表明，我们的方法相比，常见的技术和方法，例如，适用于原始的$K$ -手段++和冈萨雷斯直接，相对于人工以及真实世界的数据集的有用性。
2017-05-30 cs.LG
Context Staircase: Signature-Aligned Dynamics of Token Embeddings under Small Initialization
Shanghai Jiao Tong University（上海交通大学）；School of Mathematical Sciences（数学科学学院）；Institute of Natural Sciences（自然科学研究院）
本研究提出上下文阶梯现象，发现小初始化下词元嵌入从低阶到高阶逐步对齐概率签名，推导相关演化方程并揭示数据统计与架构对嵌入的塑造作用。
2026-09-01 cs.CL cs.LG
Combining Geometric and Topological Information for Boundary Estimation
The Ohio State University（俄亥俄州立大学）；University of Georgia（佐治亚大学）
计算机视觉中的一个基本问题是边界估计，其目标是描绘图像中对象的边界。在本文中，我们提出了一种方法，该方法联合采用图像内的几何和拓扑信息，同时估计边界的图像内的对象具有更复杂的拓扑结构。我们使用一种基于拓扑聚类的方法来辅助贝叶斯活动轮廓模型的初始化。这结合了像素聚类、边界平滑度和潜在的先验形状信息来产生估计的对象边界。主动轮廓方法对算法初始化非常敏感，依赖于用户为算法提供合理的起始曲线。在存在具有复杂拓扑结构的对象的图像的情况下，例如具有孔的对象或多个对象，用户必须为每个感兴趣的边界初始化单独的曲线。我们提出的拓扑引导方法可以在这些设置中提供可解释的智能初始化，使用户免于与复杂拓扑结构的对象相关的潜在陷阱。我们提供了一个详细的模拟研究比较我们的初始化从标准分割算法获得的边界估计。该方法被证明对人工图像数据集从计算机视觉，以及现实世界中的应用，皮肤病变和神经细胞图像，其中多个拓扑特征可以被识别。
2021-01-02 cs.CV cs.LG eess.IV
Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners
LLM Department, Tencent（腾讯大语言模型部门）；The Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）
TFPI通过简化RLVR训练流程，提高了推理模型的效率和性能，实现了更高效的模型训练和更高的准确率。
2026-10-16 cs.CL cs.LG
Artificial Intelligence and Machine Learning to Predict and Improve Efficiency in Manufacturing Industry
ENSAM-University My ISMAIL（穆莱·伊斯梅尔大学高等国立艺术与手工业学院）
设备综合效能（OEE）是一种广泛应用的性能度量指标。它的计算为管理人员提供了可能性，以确定降低机器效率的主要损失，然后采取必要的决策，以改善这种情况。然而，这种计算是事后完成的，这往往为时已晚。在本研究中，我们实现了不同的机器学习算法，即：支持向量机，优化的支持向量机（使用遗传算法），随机森林，XGBoost和深度学习来预测估计的OEE值。用于训练我们模型的数据由汽车电缆生产行业提供。结果表明，深度学习和随机森林是更准确的，并提出了更好的性能，在我们的案例研究的整体设备效能的预测。
2019-02-03 cs.LG stat.ML
Emergence of Network Motifs in Deep Neural Networks
University of Padova（帕多瓦大学）；Istituto Nazionale di Fisica Nucleare（意大利国家核物理研究所）
网络科学可以提供对复杂系统的结构和功能特性的基本见解。例如，众所周知，神经元回路倾向于组织成基本的功能拓扑模块，称为“网络基序”。在这篇文章中，我们表明，网络科学工具也可以成功地应用于人工神经网络的研究，根据自组织（学习）的原则。特别是，我们研究了网络图案的出现在多层感知器，其初始连接被定义为一个堆栈的完全连接，二分图。我们的模拟结果表明，最终的网络拓扑结构主要是由学习动力学，但可以通过选择适当的权重初始化方案强烈偏见。总的来说，我们的研究结果表明，非平凡的初始化策略可以通过促进有用的网络基序的发展，使学习更有效，这往往是令人惊讶的一致，在一般的转导网络中观察到的。
2019-12-27 cs.LG nlin.AO physics.bio-ph
MIK: Modified Isolation Kernel for Biological Sequence Visualization, Classification, and Clustering
Georgia State University（佐治亚州立大学）；Lahore University of Management Science（拉合尔管理科学大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出改进隔离核MIK，通过自适应密度估计替代t-SNE中的高斯核，以更好保留局部与全局结构，提升生物序列数据的可视化、分类与聚类效果。
2024-10-21 cs.HC cs.LG stat.ML
Wide neural networks: From non-gaussian random fields at initialization to the NTK geometry of training
本文研究了宽神经网络在有限宽度下的行为，计算了初始化时的非高斯性修正，控制了训练期间输出的演化并改进了 NTK 的衰减率估计，同时估计了非高斯性偏差随训练的演化。
2023-04-06 cs.LG cs.NE math.PR
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
Spectral Bottleneck in Sinusoidal Representation Networks: Noise is All You Need
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出WINNER初始化方案，通过改进SIREN的频谱特征提升音频和图像拟合性能，揭示初始化对频谱瓶颈的关键影响。
2025-12-23 cs.CV cs.LG cs.SD
Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice
Google Brain（谷歌大脑）；Applied Physics, Stanford University（斯坦福大学应用物理系）
众所周知，深度神经网络中权重的初始化会对学习速度产生巨大影响。例如，确保网络的输入输出雅可比矩阵的均方奇异值为$O(1)$，对于避免梯度的指数消失或爆炸至关重要。雅可比矩阵的所有奇异值集中在$1$附近的更强条件是一种称为动态等距的性质。对于深度线性网络，动态等距可以通过正交权重初始化来实现，并已被证明可以显着加快学习速度;然而，如何将这些结果扩展到非线性设置仍然不清楚。我们通过使用来自自由概率论的强大工具来分析计算深度网络的输入-输出雅可比矩阵的整个奇异值分布来解决这个问题。我们探讨了奇异值分布对网络深度、权重初始化和非线性选择的依赖性。有趣的是，我们发现ReLU网络无法实现动态等距。另一方面，S形网络可以实现等距，但只有正交权重初始化。此外，我们通过经验证明，实现动态等距的深度非线性网络比没有实现动态等距的网络学习速度快几个数量级。事实上，我们证明了正确初始化的深度S形网络始终优于深度ReLU网络。总的来说，我们的分析表明，控制雅可比奇异值的整个分布是深度学习中一个重要的设计考虑因素。
2017-11-13 cs.LG stat.ML
Fractal basin geometry and the limits to predictability and reproducibility in deep learning
School of Physics, University of Sydney（物理学院，悉尼大学）
本研究揭示深度学习吸引盆地的 riddled 几何导致可预测性与可复现性的根本限制，通过解析混沌动力学与对称子空间推导出 riddling 条件，并指出其对优化与AI安全部署的深远影响。
2026-09-22 cs.LG
Handwritten and Machine printed OCR for Geez Numbers Using Artificial Neural Network
Addis Ababa University（亚的斯亚贝巴大学）
对仿剧本的研究已经完成。然而，由于不同的原因，研究排除了吉兹数。提出了一种基于前馈反向传播人工神经网络的脱机手写体和机印体吉兹数识别方法。在这项研究中，从谷歌图像搜索中收集了不同的Geez图像字符，并指示三个人用铅笔写下数字。我们总共收集了560个字符。我们使用了460个字符进行训练，100个用于测试。因此我们总体上达到了所有分类的~89：88%
2019-11-15 cs.CV cs.LG eess.IV
What causes the test error? Going beyond bias-variance via ANOVA
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
现代机器学习方法往往过于参数化，允许在精细的水平上适应数据。这似乎令人费解;在最坏的情况下，这样的模型不需要推广。这个难题激发了大量的工作，争论过度参数化何时会减少测试错误，这种现象称为“双下降”。最近的工作旨在更深入地理解为什么过度参数化有助于泛化。这导致发现作为参数化水平的函数的方差的单峰性，并将方差分解为训练数据中的标签噪声、初始化和随机性所产生的方差，以理解误差的来源。在这项工作中，我们对这一领域有了更深入的了解。具体来说，我们提出使用方差分析（ANOVA），以对称的方式分解的方差的测试误差，研究某些两层线性和非线性网络的泛化性能。方差方差分析的优点是它比以前的方法更清楚地揭示了初始化、标签噪声和训练数据的影响。此外，我们还研究了方差分量的单调性和单峰性。虽然以前的工作研究了整体方差的单峰性，我们研究了方差分解中每个项的性质。一个关键的见解是，在典型的设置中，训练样本和初始化之间的相互作用可以主导方差;令人惊讶的是，它大于它们的边际效应。此外，我们表征“相变”的方差从单峰单调变化。在技术层面上，我们利用Haar随机矩阵的先进确定性等效技术，据我们所知，该技术尚未在该领域中使用。我们还验证了我们的结果在数值模拟和经验数据的例子。
2021-06-09 cs.LG math.ST stat.ML
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，正如Samuel等人（2017）最近所证明的那样，对于深度前馈神经网络，只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人（2017）的工作讨论了可训练性问题，但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析，并表明我们确实可以调整初始化参数和激活函数，以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
Disjunctive Normal Networks
University of Utah（犹他大学）
人工神经网络是功能强大的模式分类器;然而，它们在准确性方面已经被支持向量机和随机森林等方法超越，这些方法也更容易使用，训练更快。用于训练人工神经网络的反向传播算法存在羊群效应问题，导致训练时间长，限制了分类精度。我们使用析取范式和近似的布尔运算与产品，以构建一个新的网络结构。所提出的模型可以通过最小化误差函数来训练，并且它允许有效和直观的初始化，从而解决了与反向传播相关的误差效应问题。这导致了最先进的分类精度和快速的训练时间。此外，我们的模型可以与统一结构中的卷积特征联合优化，从而以快速收敛速度在计算机视觉问题上获得最先进的结果。还提供了具有可选卷积功能的LDNN的GPU实现
2014-12-30 cs.LG cs.NE
Enhancing Network Initialization for Medical AI Models Using Large-Scale, Unlabeled Natural Images
University Hospital RWTH Aachen（亚琛工业大学附属医院）；Technische Universität Dresden（德累斯顿工业大学）；University Hospital Carl Gustav Carus Dresden（德累斯顿卡尔·古斯塔夫·卡鲁斯大学医院）；Else Kröner Fresenius Center for Digital Health（Else Kröner Fresenius 数字健康中心）；University Hospital Heidelberg（海德堡大学医院）；National Center for Tumor Diseases（国家肿瘤疾病中心）
本研究探索利用大规模无标注自然图像进行自监督预训练（DINOv2）初始化视觉Transformer，在胸部X光片诊断中优于ImageNet监督预训练，部分情况甚至超过医学图像监督预训练，显著提升AI诊断准确性。
2024-02-08 cs.CV cs.LG eess.IV
Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning
Department of Applied Mathematics and Statistics (AMS), Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学）；Microsoft Research（微软研究院）；Department of Applied Mathematics and Statistics (AMS), the Center for Imaging Science (CIS), and the Mathematical Institute for Data Science (MINDS), Johns Hopkins University（应用数学与统计学系，影像科学中心，数据科学数学研究所，约翰霍普金斯大学）
本文提出了一种基于编码器嵌入的图神经网络框架，通过结构感知的初始化提升节点学习性能，实验表明在多种任务中均取得显著效果。
2026-02-21 cs.LG stat.ML
Feature selection with gradient descent on two-layer networks in low-rotation regimes
这项工作在具有标准初始化的两层ReLU网络上建立了梯度流（GF）和随机梯度下降（SGD）的低测试误差，在三种情况下，关键权重集旋转很少（由于GF和SGD自然，或由于人工约束），并利用边缘作为核心分析技术。第一种状态接近初始化，具体地说直到权重移动了$\mathcal{O}(\sqrt m)$，其中$m$表示网络宽度，这与神经切线核（NTK）允许的$\mathcal{O}(1)$权重移动形成鲜明对比;这里示出了GF和SGD仅需要与NTK裕度成反比的网络宽度和样本数量，而且GF自身至少达到NTK裕度，这足以建立从边际目标的坏KKT点的逃逸，而先前的工作只能建立非递减但任意小的边际。第二个机制是神经崩溃（NC）设置，其中数据位于非常分离的组中，样本复杂度随组的数量而变化;这里对先前工作的贡献是对初始化的整个GF轨迹的分析。最后，如果内层权重被约束为仅在范数上改变并且不能旋转，则具有大宽度的GF实现全局最大余量，并且其样本复杂度与其倒数成比例;这与之前的工作相反，其需要无限宽度和棘手的对偶收敛假设。作为纯粹的技术贡献，这项工作开发了各种潜在的功能和其他工具，希望有助于未来的工作。
2022-08-04 cs.LG math.OC stat.ML
Artificial Neural Network and Deep Learning: Fundamentals and Theory
本书系统阐述神经网络与深度学习的基础理论和高级方法，涵盖概率统计、梯度优化、反向传播、激活函数、超参数调优及复值神经网络，旨在帮助读者设计和优化先进模型。
2024-08-12 cs.LG
Do Newer Lightweight CNNs Perform Better Under Resource Constraints? A Controlled Multigenerational Study of Architecture, Initialization, Training Budget, and Efficiency
Independent Researcher（独立研究员）
本研究在统一协议下比较九种轻量级CNN，发现EfficientNet-B0在精度与资源间取得最佳平衡，而新模型仅在特定场景有优势。
2026-07-03 cs.AI cs.CV cs.LG
Items or Relations -- what do Artificial Neural Networks learn?
Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Neuroscience Center Zurich, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院苏黎世神经科学中心）
本文通过低维网络和简单任务，解析和数值分析发现线性网络学习关系并泛化，非线性网络学习个体样本且泛化有限，提出用足够大的基本操作集表示关系可提升泛化能力。
2024-04-15 cs.AI cs.DM cs.LG
On Node Features for Graph Neural Networks
EPFL（洛桑联邦理工学院）；HUST（华中科技大学）；Google（谷歌公司）；Griffith University（格里菲斯大学）
图神经网络（GNN）是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而，这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明，如果节点特征和节点标签之间存在很强的相关性，GNN就能很好地工作。基于这些结果，我们提出了新的特征初始化方法，允许将图神经网络应用于非属性图。我们的实验结果表明，人工特征具有很强的竞争力，真正的功能。
2019-11-20 cs.LG stat.ML
Bidirectional representational alignment between biological and artificial neural networks
University of Toronto（多伦多大学）；KITE Research Institute（KITE研究所）；University Health Network（大学健康网络）
该研究针对生物与人工神经网络表征对齐的不对称问题，开发整合谱正则化与双向预测性分析的计算框架，调控表征几何使双向预测性获55%相对提升，证明可通过调控表征几何调节双向对齐。
2026-08-20 cs.AI cs.LG
Optimization Insights into Deep Diagonal Linear Networks
MaLGa, DIBRIS, Università degli Studi di Genova（基因瓦大学MaLGa、DIBRIS分校）；MaLGa, DIMA, Università degli Studi di Genova（基因瓦大学MaLGa、DIMA分校）；Center for Brains, Minds and Machines, MIT（MIT大脑、心智与机器中心）；Istituto Italiano di Tecnologia（意大利技术研究院）；Instituto de Alta investigaciòn (IAI), Universidad de Tarapacà（塔拉帕卡大学高级研究机构）
研究深度对角线线性网络的优化机制，揭示其在过参数化模型训练中的有效性及收敛性保证。
2026-01-19 cs.LG math.OC stat.ML
Can artificial intelligence predict clinical trial outcomes?
National University of Singapore（新加坡国立大学）；Metanovas Biotech（美塔诺瓦斯生物技术公司）；Southeast University（东南大学）
该研究比较 LLM 与 HINT 对临床试验结果的预测能力，发现二者在阴性结果、试验阶段、终点和持续时间上各有优劣，主张构建混合预测方案。
2025-03-18 cs.LG stat.AP
A Three-Phase Artificial Orcas Algorithm for Continuous and Discrete Problems
University of Science and Technology Houari Boumediene（胡阿里·布迈丁科学技术大学）；University of Algiers（阿尔及尔大学）
提出了一种基于orca行为的群体智能算法。人工虎鲸算法（AOA）包括模拟虎鲸的生活方式，特别是社会组织，回声定位机制和一些狩猎技术。该提案的独创性在于，第一次元启发式同时模拟了一种动物物种的几种行为。AOA适用于离散问题，并应用于具有四个复杂度的迷宫游戏。针对这一问题，进行了大量的实验来设置算法参数。通过考虑成功率、运行时间和解路径大小来评估算法性能。最后，为了比较的目的，作者进行了一组实验的国家的最先进的进化算法，即ACO，BA，BSO，EHO，PSO和WOA。整体得到的结果清楚地表明AOA优于其他测试算法。
2023-02-17 cs.DM cs.LG cs.NE
