Hcore-Init: Neural Network Initialization based on Graph Degeneracy
École Polytechnique（巴黎综合理工学院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）；LIRMM（法国计算机科学、机器人学与微电子实验室）；Univ Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
神经网络是人工智能的巅峰之作，因为近年来我们目睹了许多新颖的深度学习架构、学习和优化技术。利用神经网络固有地在神经元层之间构成多部图的事实，我们的目标是直接分析它们的结构，以提取可以改善学习过程的有意义的信息。我们的知识图谱挖掘技术，以提高神经网络的学习还没有得到彻底的研究。在本文中，我们提出了一个自适应版本的k-核心结构，用于从深度学习架构中提取的完整加权多部图。由于多部图是二部图的组合，而二部图又是超图的关联图，因此我们设计了超图的k-超核分解，即k-核退化的超图模拟。我们将k-hypercore应用于几种神经网络架构，更具体地说，应用于卷积神经网络和多层感知器，在非常短的预训练后进行图像识别任务。然后利用神经元超核数提供的信息重新初始化神经网络的权值，从而使梯度优化方案偏置。大量的实验证明，k-hypercore优于最先进的初始化方法。
2022-09-09 cs.LG stat.ML
Disentangle Sample Size and Initialization Effect on Perfect Generalization for Single-Neuron Target
Shanghai Jiao Tong University（上海交通大学）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
本研究通过单神经元目标恢复场景，系统探究了初始化规模与样本大小对两层神经网络完美泛化的影响，识别出关键量“初始不平衡比率”及两个样本大小阈值，揭示了从不可恢复到可恢复的转变机制，为过参数化神经网络的泛化提供了新视角。
2024-05-22 cs.LG
Artificial Intelligence-Generated Terahertz Multi-Resonant Metasurfaces via Improved Transformer and CGAN Neural Networks
针对传统DNN用于太赫兹多谐振石墨烯超表面逆向设计泛化能力有限的问题，提出改进Transformer与CGAN分别实现高精度逆向设计方法，提升了设计精度与泛化性，推进了AIGM设计流程并提供指导。
2023-07-21 cs.LG physics.app-ph physics.optics
Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function
Jagiellonian University（雅盖隆大学）
我们证明了在残差神经网络（ResNets）中，无论使用何种激活函数，动态等距都是可以实现的。我们这样做是通过推导，在自由概率和随机矩阵理论的帮助下，在大网络的宽度和深度限制下，初始化时的输入输出雅可比矩阵的谱密度的通用公式。由此产生的奇异值谱取决于一个单一的参数，我们计算各种流行的激活函数，通过分析在人工神经网络的信号传播。我们通过随机矩阵和ResNets应用于CIFAR-10分类问题的数值模拟证实了我们的结果。此外，我们研究的后果，这种普遍的行为的学习过程的初始阶段和后期阶段。我们的结论是提请注意一个简单的事实，即初始化作为激活函数的选择和学习速度之间的混杂因素。我们建议在ResNets中，这可以根据我们的结果解决，通过确保初始化时相同的动态等距水平。
2019-03-04 cs.LG stat.ML
Weighted Neural Tangent Kernel: A Generalized and Improved Network-Induced Kernel
Shanghai Jiao Tong University（上海交通大学）
神经切线核（NTK）最近吸引了大量的研究，因为它描述了由梯度下降训练的过参数化神经网络（NN）的演化。然而，现在众所周知的是，梯度下降并不总是一个很好的优化神经网络，这可以部分解释NTK回归估计器的不令人满意的实际性能。在本文中，我们介绍了加权神经切线核（WNTK），一个广义的和改进的工具，它可以捕捉一个过参数化的神经网络的训练动态下，不同的优化。在理论上，在无限宽的限制下，我们证明了：i）WNTK在初始化和训练过程中的稳定性，以及ii）WNTK回归估计量和相应的NN估计量之间的等价性，对于不同的参数具有不同的学习率。在数值实验中，经验和解析WNTK都优于相应的NTK。
2021-03-22 cs.LG
From Condensation to Rank Collapse: A Two-Stage Analysis of Transformer Training Dynamics
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Institute of Natural Sciences, MOE-LSC, CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学自然科学院）
本文提出两阶段框架分析Transformer训练动力学，揭示从凝聚到秩坍缩的演化过程，并推广了经典定向收敛结果。
2025-10-08 cs.LG
Strong overall error analysis for the training of artificial neural networks via random initializations
University of Münster（明斯特大学）
本文在深度监督学习中改进了整体误差收敛估计，证明在任意独立同分布随机初始化的随机优化算法下，网络深度只需以更慢速度增长即可达到相同逼近速率。
2020-12-15 cs.LG cs.NA math.NA
Wide neural networks: From non-gaussian random fields at initialization to the NTK geometry of training
本文研究了宽神经网络在有限宽度下的行为，计算了初始化时的非高斯性修正，控制了训练期间输出的演化并改进了 NTK 的衰减率估计，同时估计了非高斯性偏差随训练的演化。
2023-04-06 cs.LG cs.NE math.PR
Explainable Artificial Intelligence for Improved Modeling of Processes
Bielefeld University（比勒费尔德大学）；Recommendy UG（Recommendy UG公司）
在现代业务流程中，近年来收集的数据量大幅增加。由于这些数据可能会产生有价值的见解，因此已经提出了基于过程挖掘的自动知识提取以及其他技术，以向用户提供对其中包含的信息的直观访问。目前，大多数技术的目标是重建显式的业务流程模型。这些都是直接解释，但有限的关于不同的和真正有价值的信息源的整合。另一方面，机器学习（ML）受益于大量可用的数据，可以处理高维数据源，但它很少被应用于流程中。在这篇文章中，我们评估了现代Transformer架构的能力，以及建模过程建模的更经典的ML技术，可以通过它们的预测能力进行定量评估。此外，我们展示了注意属性和特征相关性确定的能力，突出的功能是至关重要的过程的预测能力。我们使用五个基准数据集证明了我们方法的有效性，并表明ML模型能够预测关键结果，并且注意力机制或XAI组件提供了对底层过程的新见解。
2022-12-01 cs.AI cs.LG
Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization
University of the Witwatersrand（金山大学）；InstaDeep；Google Brain（谷歌大脑）
训练稀疏网络以收敛到与密集神经架构相同的性能已被证明是难以捉摸的。最近的研究表明，初始化是关键。然而，虽然这一研究方向取得了一些成功，但仅仅关注初始化似乎是不够的。在本文中，我们从更广泛的角度来训练稀疏网络，并考虑正则化，优化和架构选择对稀疏模型的作用。我们提出了一个简单的实验框架，相同的容量稀疏与密集比较（SC-SDC），允许稀疏和密集网络的公平比较。此外，我们还提出了一种新的梯度流度量，即有效梯度流（EGF），它与稀疏网络中的性能更好地相关。使用顶线指标，SC-SDC和EGF，我们表明，用于密集网络的优化器，激活函数和正则化器的默认选择可以不利稀疏网络。基于这些发现，我们表明，稀疏网络中的梯度流可以通过重新考虑架构设计和训练制度来改善。我们的工作表明，初始化只是难题的一部分，从更广泛的角度来看稀疏网络的定制优化会产生有希望的结果。
2021-06-16 cs.CV cs.LG
Topology Optimization using Neural Networks with Conditioning Field Initialization for Improved Efficiency
Carnegie Mellon University（卡内基梅隆大学）
提出一种用于基于神经网络的拓扑优化的条件场初始化方法，通过将应变能场作为额外条件场输入，有效提高了拓扑优化的收敛速度与效率。
2023-05-17 cs.LG
Taking the human out of decomposition-based optimization via artificial intelligence: Part II. Learning to initialize
University of Minnesota（明尼苏达大学）
本文提出一种机器学习方法，通过学习代理模型优化广义Benders分解的初始化（如最优初始割数），显著减少混合整数模型预测控制问题的求解时间，并利用主动学习降低数据需求。
2023-10-10 cs.LG math.OC
Improved SVD-based Initialization for Nonnegative Matrix Factorization using Low-Rank Correction
Graduate School of Science and Engineering（研究生院）；PAF-Karachi Institute of Economics and Technology（卡拉奇经济和技术学院）；Department of Mathematics and Operational Research（数学与运筹学系）
本文提出了一种改进的基于SVD的非负矩阵分解初始化方法，通过考虑被丢弃的SVD因子来降低初始误差，同时生成稀疏初始因子并提高计算效率。
2018-07-11 cs.LG cs.NA math.NA
From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Imperial College London（伦敦帝国理工学院）；University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Sainsbury Wellcome Centre, University College London（伦敦大学学院韦尔科姆中心）；CIFAR（加拿大高级研究所）
该研究推导了深度线性网络中lambda平衡初始化的精确解，揭示了权重初始化如何影响表征和神经正切核在懒惰与丰富机制间的演化动态。
2025-03-04 cs.LG
oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc.（神经魔法公司）
本文提出 oBERTa 稀疏语言模型系列，通过冻结嵌入、改进蒸馏初始化与剪枝量化流程，让无压缩经验者获得高准确率且推理提速 3.8–24.3 倍的模型。
2023-06-06 cs.AI cs.CL cs.LG
A Bayesian approach for initialization of weights in backpropagation neural net with application to character recognition
University of Turin（都灵大学）
权值的初始化严重影响神经网络训练算法的收敛速度。本文提出了一种新颖的反向传播神经网络权值初始化算法，并将其应用于字符识别。初始化方法主要基于卡尔曼滤波器的定制，将其转换为贝叶斯统计术语。在这种情况下，考虑权重作为相互依赖的正态随机变量建模的测量值，使用一种新的方法。算法的性能证明了报告和讨论的模拟试验的结果。并与随机权值初始化等方法进行了比较。所提出的方法显示了一个改进的收敛速度的反向传播训练算法。
2020-04-04 cs.LG stat.ML
Dense for the Price of Sparse: Improved Performance of Sparsely Initialized Networks via a Subspace Offset
Mathematical Institute, University of Oxford（牛津大学数学研究所）；The Alan Turing Institute（艾伦图灵研究所）
神经网络可以被修剪到高稀疏度并保持高精度是公认的。最近的研究工作集中在修剪后立即初始化，以便允许稀疏提供的计算节省扩展到训练过程。在这项工作中，我们引入了一个新的“DCT加稀疏”层架构，即使剩下0.01%的可训练内核参数，它也能保持信息传播和可训练性。我们表明，使用这些层构建的网络的标准训练，并在初始化时修剪，在各种基准网络架构和数据集上实现了最先进的极端稀疏精度。此外，这些结果仅使用简单的算法来确定可训练参数在网络中的位置来实现，并且因此不必初始地存储或计算完整的未修剪的网络，如竞争的初始化修剪算法所要求的。从标准稀疏层切换到DCT+稀疏层不会增加网络的存储空间，并且只会产生少量的额外计算开销。
2021-06-15 cs.LG
Improved Convergence Guarantees for Shallow Neural Networks
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Steklov Mathematical Institute（斯捷克洛夫数学研究所）
我们继续进行一系列研究，旨在证明通过梯度下降训练的深度2神经网络收敛到全局最小值。与许多以前的工作一样，我们的模型具有以下特征：二次损失函数回归，全连接前馈架构，RelU激活，高斯数据实例和网络初始化，对抗标签。更一般的是，我们允许同时以{ \em different}速率训练两个层。我们的结果改进了最先进的[Oymak Soltanolkotabi 20]（仅训练第一层）和[Nguyen 21，第3.2节]（用Le Cun的初始化训练两层）。我们还报告了几个简单的实验与合成数据。他们强烈地表明，至少在我们的模型中，趋同现象远远超出了“NTK制度”。
2022-12-05 cs.LG
IKUN: Initialization to Keep snn training and generalization great with sUrrogate-stable variaNce
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Pengcheng Laboratory（鹏城实验室）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
针对传统初始化方法在脉冲神经网络（SNN）中表现不佳的问题，提出IKUN——一种集成代理梯度函数的方差稳定初始化方法，可提升训练效率50%、训练精度达95%、泛化精度达91%，并促进模型收敛到更平坦的最小值。
2024-11-27 cs.AI cs.LG
Optimal Initialization in Depth: Lyapunov Initialization and Limit Theorems for Deep Leaky ReLU Networks
School of Mathematics, Institute for Advanced Study（数学系，高级研究院）；Mathematical Institute, University of Oxford（牛津大学数学学院）；Max Planck Institute for Multidisciplinary Sciences（多学科科学研究所）；Department of Mathematics, University College London（伦敦大学学院数学系）
本文通过随机深度Leaky ReLU网络的严格概率分析，提出Lyapunov初始化方法，将Lyapunov指数设为零以确保激活稳定性，从而改善学习效果。
2026-06-02 cs.LG math.DS math.PR
ExplainFix: Explainable Spatially Fixed Deep Networks
Carnegie Mellon University（卡内基梅隆大学）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；INESC TEC（葡萄牙系统与计算机工程研究所）
深度网络是否有一个不需要学习的初始化？ExplainFix采用了两个设计原则：“固定滤波器”原则，即卷积神经网络的所有空间滤波器权重可以在初始化时固定，永远不会学习;“灵活性”原则，即只需少量网络参数即可。我们贡献了（a）基于视觉模型的解释，（b）速度和准确性的提高，以及（c）深度卷积神经网络的新工具。ExplainFix给出了关键见解，即空间固定网络应该进行引导初始化，空间卷积层往往优先考虑低频，并且大多数网络参数在空间固定模型中是不必要的。ExplainFix模型的空间过滤器内核比完全学习的模型少100倍，匹配或提高了准确性。我们广泛的实证分析证实，ExplainFix保证了更灵活的模型（通过通道修剪，训练速度提高了17\%），匹配或改善了预测性能（跨越13个不同的基线模型，4个架构和2个医学图像数据集），提高了对更大学习率的鲁棒性，以及对不同模型大小的鲁棒性。我们首先证明，最先进的卷积深度网络中的所有空间滤波器都可以在初始化时固定，而不是学习。
2023-03-18 cs.AI cs.CV cs.LG
Principal Components for Neural Network Initialization
Simula Metropolitan（Simula 城市）；University of Science（科学大学）
本文针对训练前对数据使用PCA导致XAI解释复杂的问题，提出用主成分初始化网络首层的PCsInit及其两个变体，以获得更直接的解释、理论保证和更好的反向传播训练效果。
2025-09-29 cs.AI cs.LG
When Layers Play the Lottery, all Tickets Win at Initialization
Escola Politécnica, Universidade de São Paulo（圣保罗大学理工学院）；Institute of Computing, University of Campinas（坎皮纳斯大学计算机研究所）
本文从层剪枝视角研究彩票假说，提出在初始化时发现获胜层子网络，无需训练稠密网络，显著加速训练并减少高达51%碳排放，且对对抗样本和分布外样本具有鲁棒性。
2024-03-19 cs.LG
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo（圣保罗大学）；Ghent University（根特大学）
深度学习文献不断更新新的架构和训练技术。然而，权重初始化被最近的研究所忽视，尽管有一些有趣的发现关于随机权重。另一方面，最近的工作已经接近网络科学，以了解训练后的人工神经网络（ANN）的结构和动力学。因此，在这项工作中，我们分析了随机初始化网络中神经元的中心性。我们发现，较高的神经元强度方差可能会降低性能，而较低的神经元强度方差通常会提高它，然后提出了一种新的方法来重新布线神经元连接根据优先连接（PA）规则的基础上，他们的强度，这显着减少了强度方差的层初始化的常见方法。从这个意义上说，PA重新布线仅重组连接，同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明，在大多数情况下，无论是在训练还是测试过程中，当使用简单和复杂的架构和学习时间表时，性能都得到了提高。我们的研究结果表明，除了幅度之外，权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
Artificial Neural Networks generated by Low Discrepancy Sequences
NVIDIA（英伟达）
提出利用低偏差序列在稠密图上生成稀疏神经网络，支持确定性初始化与从头稀疏训练，避免存储体冲突，在低计算复杂度下达到接近稠密网络的准确率。
2023-11-27 cs.LG
Pruning Unrolled Networks (PUN) at Initialization for MRI Reconstruction Improves Generalization
Michigan State University（密歇根州立大学）
本文提出在初始化时剪枝展开网络（PUN）的方法，用于加速MRI重建，实验证明其相比传统稠密网络能提升对分布偏移的鲁棒性和泛化能力。
2024-12-24 cs.CV cs.LG eess.IV
Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning
Department of Applied Mathematics and Statistics (AMS), Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学）；Microsoft Research（微软研究院）；Department of Applied Mathematics and Statistics (AMS), the Center for Imaging Science (CIS), and the Mathematical Institute for Data Science (MINDS), Johns Hopkins University（应用数学与统计学系，影像科学中心，数据科学数学研究所，约翰霍普金斯大学）
本文提出了一种基于编码器嵌入的图神经网络框架，通过结构感知的初始化提升节点学习性能，实验表明在多种任务中均取得显著效果。
2026-02-21 cs.LG stat.ML
A Signal Propagation Perspective for Pruning Neural Networks at Initialization
University of Oxford（牛津大学）；Australian National University（澳大利亚国立大学）
网络修剪是压缩深度神经网络的一种有前途的途径。一种典型的修剪方法首先训练模型，然后删除冗余参数，同时最大限度地减少对学习内容的影响。或者，最近的一种方法表明，修剪可以在训练之前的初始化中完成，基于称为连接敏感性的显着性标准。然而，目前还不清楚为什么修剪一个未经训练的、随机初始化的神经网络是有效的。在这项工作中，通过注意到连接敏感性作为一种形式的梯度，我们正式表征初始化条件，以确保可靠的连接敏感性测量，这反过来又产生有效的修剪结果。此外，我们分析了由此产生的修剪网络的信号传播特性，并引入了一个简单的，无数据的方法来提高其可训练性。我们修改现有的修剪在初始化方法导致所有测试的网络模型的图像分类任务的改进结果。此外，我们实证研究监督修剪的效果，并证明我们的信号传播的角度来看，结合无监督修剪，可以在各种情况下，修剪应用于非标准的任意设计的架构是有用的。
2020-02-16 cs.CV cs.LG stat.ML
Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Cloud and AI（微软云与人工智能）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过从大规模数据集上的预训练模型进行知识转移进行微调是一种广泛传播的方法，可以有效地在小规模数据集上构建模型。在这项工作中，我们证明了最近通过重新训练最后一个线性层为迁移学习设计的对抗攻击可以成功地欺骗通过端到端微调进行迁移学习训练的模型。这引起了许多工业应用的安全问题。相比之下，使用随机初始化训练而没有传输的模型对此类攻击更具鲁棒性，尽管这些模型通常表现出低得多的准确性。为此，我们提出了噪声特征提取，这是一种新的迁移学习方法，可以从随机初始化训练网络，同时实现与微调竞争的干净数据性能。代码可在https://github.com/cmu-enyac/Renofeation获得。
2021-04-28 cs.CR cs.CV cs.LG
GUIDED Network-Agnostic Feature Initialization for Spatial Transferability in GNN-based Models
Technical University of Munich（慕尼黑工业大学）
研究针对交通分配问题中GNN模型空间泛化差的问题，提出网络无关初始化层GUIDED，通过在虚拟链路注入需求标量属性标准化输入空间。实验表明其能提升模型性能、鲁棒性及参数效率，减少训练时间，为相关空间问题提供通用蓝图。
2026-07-22 cs.AI cs.LG
Boosting Fast Adversarial Training with Learnable Adversarial Initialization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc.（腾讯公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Sun Yat-sen University（中山大学）
对抗性训练（AT）已被证明是有效的，通过利用对抗性的例子进行训练，提高模型的鲁棒性。然而，大多数AT方法都面临着昂贵的时间和计算成本，在多个步骤中计算梯度生成对抗性的例子。为了提高训练效率，快速AT方法采用快速梯度符号法（FGSM），只需计算一次梯度。不幸的是，鲁棒性远远不能令人满意。一个原因可能来自初始化方式。现有的快速AT通常使用随机样本不可知初始化，这促进了效率，但阻碍了进一步的鲁棒性改进。到目前为止，快速AT中的初始化仍然没有被广泛探索。在本文中，我们使用样本相关的对抗初始化来提升快速AT，即，来自生成网络的输出，该生成网络以良性图像及其来自目标网络的梯度信息为条件。由于生成网络和目标网络在训练阶段联合优化，因此前者可以自适应地生成相对于后者的有效初始化，这促使鲁棒性逐渐提高。四个基准数据库上的实验评估表明，我们提出的方法比国家的最先进的快速AT方法的优越性，以及先进的多步AT方法的鲁棒性。该代码在https://github.com//jiaxiaojunQAQ//FGSM-SDI上发布。
2022-06-17 cs.CV cs.LG
Improved Explanatory Efficacy on Human Affect and Workload through Interactive Process in Artificial Intelligence
School of Computing, KAIST（韩国科学技术院计算机学院）
尽管最近在可解释的人工智能系统领域取得了进展，但用于评估此类系统可用性的具体量化措施尚不存在。确保解释性界面在与用户交互方面的成功需要人类和人工智能之间的循环共生关系。因此，我们提出了解释功效，一种新的衡量标准，用于评估强度的循环关系的接口展品。此外，在一项用户研究中，我们评估了感知的影响和工作量，并记录了参与者与我们定制的迭代解释界面互动时的EEG信号，以构建个性化推荐系统。我们发现，系统的感知驱动的迭代任务具有更大的解释功效的特点是统计上显着的半球差异的神经信号与62.4%的准确性，表明神经相关的解释功效的措施的可行性。这些发现对于旨在研究人类-人工智能伙伴关系的循环生态系统的研究人员来说是有益的。
2020-10-23 cs.AI cs.HC cs.LG
Contracting Implicit Recurrent Neural Networks: Stable Models with Improved Trainability
Australian Center for Field Robotics（澳大利亚现场机器人中心）；Sydney Institute for Robotics and Intelligent Systems（悉尼机器人与智能系统研究所）；The University of Sydney（悉尼大学）
递归模型的稳定性与可训练性、可推广性以及某些应用中的安全性密切相关。然而，训练稳定的循环神经网络的方法是以显著的可表达性为代价的。我们提出了一个隐式的模型结构，允许使用非线性系统的收缩分析的稳定模型的凸参数化。使用这些稳定性条件，我们提出了一种新的模型初始化方法，然后提供了一些经验结果，将我们提出的模型集的性能与以前的稳定RNN和vanilla RNN进行比较。通过仔细控制模型的稳定性，我们观察到训练速度和模型性能的显着提高。
2019-12-22 cs.LG cs.SY eess.SY
Artificial intelligence for improved fitting of trajectories of elementary particles in inhomogeneous dense materials immersed in a magnetic field
ETH Zurich（苏黎世联邦理工学院）；State University of New York at Stony Brook（纽约州立大学石溪分校）
本文利用深度学习替代贝叶斯滤波，提高非均匀致密探测器（如塑料闪烁体）中粒子径迹拟合分辨率，并指出特定神经网络接近超信息先验贝叶斯滤波器，可能影响未来实验设计。
2022-11-09 cs.LG hep-ex physics.data-an
A Good Start Matters: Enhancing Continual Learning with Data-Driven Weight Initialization
Rochester Institute of Technology（罗切斯特技术学院）；University of Rochester（罗切斯特大学）
针对持续学习中分类器权重随机初始化导致初始损失峰值和训练不稳定的问题，提出一种基于神经坍缩理论的数据驱动权重初始化策略，利用最小二乘分类器公式对齐特征分布，有效缓解初始损失峰值并加速任务适应，在大规模实验中提升了CL性能。
2025-07-01 cs.CV cs.LG
IDInit: A Universal and Stable Initialization Method for Neural Network Training
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）；MetaAI（元宇宙人工智能实验室）；Fudan University（复旦大学）；Shanghai Academy of AI for Science（上海人工智能科学研究院）
本文提出完全恒等初始化方法 IDInit，通过在残差网络各层保持恒等性并解决秩约束与死亡神经元问题，实现了更稳定、更快速且通用的神经网络训练。
2025-03-09 cs.AI cs.LG
An Initialization Schema for Neuronal Networks on Tabular Data
University Tübingen（图宾根大学）
本文提出一种用于表格数据的二项式初始化神经网络方案，通过对首尾隐藏层应用该初始化并结合梯度掩码修改损失函数以实现联合集成训练，在多个数据集上提升了性能。
2023-11-24 cs.LG
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
梯度下降（GD）型最优化方法是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功，它仍然是-即使在最简单的情况下，普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题，以证明（或反驳）GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想，独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中，我们证明了这一猜想的情况下，输入数据的概率分布是一个紧凑的区间上的连续均匀分布，其中的概率分布的神经网络参数的随机初始化是标准正态分布，和所考虑的目标函数是连续和分段仿射线性。粗略地说，在我们的数学收敛分析中的关键成分是（i）证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}，（ii）证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition}，并且，此后，（iii）应用[Fehrman，B.，Gess，B.，Jentzen，A.，非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21（136）：1- 48，2020]以建立具有随机初…
2021-08-10 cs.LG cs.NA math.NA
Learning Uncertainty with Artificial Neural Networks for Improved Predictive Process Monitoring
Research Centre for Information Systems Engineering（信息系统工程研究中心）
人工神经网络无法评估其预测的不确定性是其广泛使用的障碍。我们区分两种类型的可学习的不确定性：由于缺乏训练数据和噪声引起的观测不确定性模型的不确定性。贝叶斯神经网络使用坚实的数学基础来学习其预测的模型不确定性。观测不确定度可以通过在这些网络上增加一层并增加其损失函数来计算。我们的贡献是将这些不确定性概念应用于预测过程监控任务，以训练基于不确定性的模型来预测剩余时间和结果。我们的实验表明，不确定性估计允许更多和更少的准确的预测进行区分，并在回归和分类任务中构建置信区间。即使在运行过程的早期阶段，这些结论仍然是正确的。此外，部署的技术速度快，预测更准确。学习到的不确定性可以增加用户对过程预测系统的信心，促进人类与这些系统之间更好的合作，并使更早的实现具有更小的数据集。
2022-06-13 cs.AI cs.LG
Initialization and Regularization of Factorized Neural Layers
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
分解层（由两个或多个矩阵的乘积参数化的操作）出现在各种深度学习环境中，包括压缩模型训练，某些类型的知识蒸馏和多头自注意架构。我们研究了如何初始化和正则化包含这些层的深层网络，研究了两个简单的，未充分研究的方案，频谱初始化和Frobenius衰减，以提高其性能。指导性的见解是为这些网络设计尽可能接近其良好调整的非分解对应物的优化例程;我们通过分析初始化和正则化方案如何影响梯度下降训练来支持这种直觉，借鉴现代尝试理解权重衰减和批量归一化的相互作用。从经验上讲，我们强调了光谱初始化和Frobenius衰减在各种设置中的好处。在模型压缩中，我们证明了它们使低秩方法在训练低内存残差网络的任务上显著优于非结构化稀疏性和张量方法;这些方案的类似物也提高了张量分解技术的性能。对于知识蒸馏，Frobenius衰变实现了一个简单的、过完备的基线，可以从过参数化训练中产生一个紧凑的模型，而不需要使用教师网络进行再训练或修剪。最后，我们展示了这两种方案如何应用于多头注意力，从而提高翻译和无监督预训练的性能。
2022-10-04 cs.AI cs.CL cs.CV
Learning Uncertainty with Artificial Neural Networks for Improved Remaining Time Prediction of Business Processes
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
人工神经网络总是会做出预测，即使是在完全不确定的情况下，也不考虑后果。这种对不确定性的遗忘是在实践中采用这些标准的主要障碍。然而，现有技术可以估计两种主要类型的不确定性：模型不确定性和数据中的观测噪声。贝叶斯神经网络是理论上有充分依据的模型，可以学习其预测的模型不确定性。对这些模型及其损失函数的微小修改也允许学习单个样本的观测噪声。本文是第一个将这些技术应用于预测过程监控。我们发现它们有助于更准确的预测和快速工作。然而，它们的主要好处在于不确定性估计本身，允许将高质量的预测与低质量的预测分开，并建立置信区间。这导致了许多有趣的应用，使预测系统能够更早地采用较小的数据集，并促进与人类的更好合作。
2021-05-12 cs.AI cs.LG
Holistic Artificial Intelligence in Medicine; improved performance and explainability
本文提出可解释的医学整体人工智能框架 xHAIM，通过生成式人工智能自动识别任务相关数据、生成患者摘要并改进预测，在 HAIM-MIMIC-MM 数据集上将平均 AUC 从 79.9% 提升至 90.3%，使 AI 从黑箱预测器转变为可解释的临床决策支持系统。
2025-06-30 cs.AI cs.LG
Progressive Skeletonization: Trimming more fat from a network at initialization
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）；The Alan Turing Institute（艾伦·图灵研究所）；Five AI Limited（Five AI有限公司）
最近的研究表明，网络\textit{at initialization}的剪枝（修剪参数）在推理和训练时都提供了稀疏性的所有实际好处，而只是略微降低了它们的性能。然而，我们观察到，超过一定程度的稀疏性（约$95\%$），这些方法无法保持网络性能，令我们惊讶的是，在许多情况下，甚至比平凡的随机修剪更差。为此，我们提出了一个目标，找到一个最大的{ \em前瞻性连接灵敏度}（FORCE），其中的可训练性，在连接灵敏度方面，修剪的网络被考虑到一个candonized网络。然后，我们提出了两个近似的程序，以最大限度地提高我们的目标（1）迭代SNIP：允许参数，在早期阶段的非重要性，成为重要的在后期阶段;和（2）FORCE：迭代过程，允许探索，允许已经修剪参数复活在后期阶段的非重要性。对大量实验的实证分析表明，我们的方法，同时提供至少一样好的性能作为其他最近的方法在中等修剪水平，提供了显着改善的性能更高的修剪水平（可以删除高达$99.5\%$参数，同时保持网络可训练）。代码可在https://github.com/naver/force中找到。
2021-03-19 cs.CV cs.LG
Persistent Neurons
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Cornell University（康奈尔大学）
基于神经网络（NN）的学习算法受初始化和数据分布选择的强烈影响。不同的优化策略已被提出来改善学习轨迹，并找到一个更好的最优。然而，设计改进的优化策略是一个困难的任务，在传统的景观视图。在这里，我们提出了持久神经元，这是一种基于概率的策略，可以使用以前融合解决方案中的信息来优化学习任务。更准确地说，我们利用轨迹的末端，让参数通过惩罚模型在相同的初始化下收敛到以前的解来探索新的景观。持久神经元可以被看作是一个随机梯度方法，其中个别更新被确定性误差项破坏。具体来说，我们表明，持久的神经元，在一定的数据分布，是能够收敛到更优的解决方案，而在流行的框架下的初始化找到坏的局部极小值。我们进一步证明，持久神经元有助于提高模型的性能下良好和不良的初始化。我们评估了完整和部分持久模型，并表明它可以用于提高一系列NN结构的性能，例如AlexNet和残差神经网络（ResNet）。
2021-03-18 cs.CV cs.LG cs.NE
Review of the state of the art in autonomous artificial intelligence
University of Oxford（牛津大学）
本文提出了一种新的设计自主人工智能（AI），基于国家的最先进的算法，并描述了一个新的自主AI系统称为AutoAI。该方法是用来组装的自我改进的算法，使用新的和新兴的数据源（NEFD）的基础上的设计。本文的目的是概念化一种新型AutoAI算法的设计。概念方法用于推进构建新的和改进的算法。本文整合和巩固了现有文献的研究结果，并将AutoAI设计推进到（1）使用新的和新兴的数据源来教授和训练AI算法，以及（2）使AI算法能够使用自动化工具来训练新的和改进的算法。这种方法超越了人工智能算法的最先进水平，并提出了一种设计，使自主算法能够自我优化和自我适应，并在更高的水平上能够自我繁殖。
2022-10-17 cs.AI cs.HC cs.LG
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with piecewise affine activation
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））
本文研究了在过参数化 regime 下，使用分段仿射激活函数的人工神经网络通过批量梯度下降优化时的收敛速度问题，证明了在神经网络宽度足够大且学习率足够小的情况下，均方误差以线性速度收敛到零。
2026-05-19 cs.LG cs.NA math.NA
Motif-topology improved Spiking Neural Network for the Cocktail Party Effect and McGurk Effect
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
在人工神经网络和脉冲神经网络中，网络结构和学习原理是形成复杂函数的关键。SNN被认为是新一代的人工神经网络，它包含了比ANN更多的生物特征，包括动态尖峰神经元，功能指定的结构和有效的学习范式。网络架构也被认为体现了网络的功能。在这里，我们提出了一个Motif-topology改进的SNN（M-SNN）的有效的多感觉整合和认知现象的模拟。我们模拟的认知现象包括鸡尾酒会效应和麦格克效应，这是许多研究者讨论的。我们的M-SNN由称为网络模体的Meta算子构成。3节点网络基元的来源是从空间或时间数据集中预先学习的人工拓扑。在单感觉分类任务中，结果表明，使用网络模体拓扑结构的M-SNN的准确率高于不使用它们的纯前馈网络拓扑结构。在多感觉整合任务中，使用人工网络基序的M-SNN的性能优于使用BRP（生物合理奖励传播）的最新SNN。此外，M-SNN可以更好地模拟鸡尾酒会效应和McGurk效应，具有较低的计算成本。我们认为人工网络模体可以被认为是一些先验知识，有助于SNN的多感觉整合，并为模拟认知现象提供更多的好处。
2022-11-12 cs.LG cs.NE eess.SP
A Statistical Difference between Single-Layer Learning and Hierarchical Learning in Wide Neural Networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
研究宽神经网络中单层与分层学习的差异，通过研究三层有限但大量隐藏单元的神经网络，发现训练输入到隐藏层权重泛化误差更小，且固定权重设置在参数空间有奇异性，揭示奇异性在宽神经网络中有重要作用。
2026-07-28 cs.LG math.ST stat.ML
Improved Automated Machine Learning from Transfer Learning
Duke University（杜克大学）
在本文中，我们提出了一个神经架构搜索框架的基础上，一些基线任务和目标任务之间的相似性度量。我们首先定义的概念的任务相似性的基础上的Fisher信息矩阵的对数行列式。接下来，我们计算每个基线任务与目标任务的任务相似度。通过利用目标和一组学习的基线任务之间的关系，可以显著地减小用于目标任务的架构的搜索空间，使得在GPU天数方面，在可能架构的集合中发现最佳候选者是易处理的和高效的。该方法消除了对于给定目标任务从头开始训练网络的要求，并且在搜索空间的初始化中引入了来自人类领域的偏差。
2022-01-29 cs.CV cs.LG
Emergence of Network Motifs in Deep Neural Networks
University of Padova（帕多瓦大学）；Istituto Nazionale di Fisica Nucleare（意大利国家核物理研究所）
网络科学可以提供对复杂系统的结构和功能特性的基本见解。例如，众所周知，神经元回路倾向于组织成基本的功能拓扑模块，称为“网络基序”。在这篇文章中，我们表明，网络科学工具也可以成功地应用于人工神经网络的研究，根据自组织（学习）的原则。特别是，我们研究了网络图案的出现在多层感知器，其初始连接被定义为一个堆栈的完全连接，二分图。我们的模拟结果表明，最终的网络拓扑结构主要是由学习动力学，但可以通过选择适当的权重初始化方案强烈偏见。总的来说，我们的研究结果表明，非平凡的初始化策略可以通过促进有用的网络基序的发展，使学习更有效，这往往是令人惊讶的一致，在一般的转导网络中观察到的。
2019-12-27 cs.LG nlin.AO physics.bio-ph
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界，考虑了实际中使用的大多数激活函数，包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先，我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次，我们提供了一个技术性的结果（也适用于一般逼近器），将上述微分包含的解与（离散的）随机梯度下降序列相关联，从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
DaiMoN: A Decentralized Artificial Intelligence Model Network
Harvard University（哈佛大学）
我们介绍DaiMoN，一个分散的人工智能模型网络，它激励同行合作，提高机器学习模型的准确性，为给定的分类问题。它是一个自治网络，其中对等体可以提交具有改进的准确性的模型，并且其他对等体可以验证准确性的改进。该系统维护了一个仅附加的分散式分类账，以记录关键信息，包括谁训练了模型并提高了其准确性，何时改进，改进了多少，以及在哪里找到新更新的模型。DaiMoN用加密令牌奖励这些做出贡献的同行。DaiMoN的一个主要特点是，它允许同行在不知道测试标签的情况下验证提交模型的准确性改进。这是一个重要的组成部分，以减轻故意模型过拟合模型改进的同行。为了使用隐藏的测试标签来评估模型的准确性，DaiMoN使用了本文提出的一种新的可学习的标签距离嵌入（DEL）函数。具体到每个测试数据集，DEL通过将其嵌入低维空间来扰乱测试标签向量，同时近似保留数据集的测试标签向量与分类器推断的标签向量之间的距离。因此，它允许同行进行改进证明（PoI），而无需向他们提供对真实测试标签的访问。我们提供的分析和经验证据表明，在DEL下，同行可以准确地评估模型的准确性。我们还认为，很难反转嵌入函数，因此，DEL对旨在恢复测试标签以进行欺骗的攻击具有弹性。我们的DaiMoN原型实现可在https://github.com/steerapi/daimon上获得。
2019-07-19 cs.AI cs.CR cs.LG
Improved Forecasting Using a PSO-RDV Framework to Enhance Artificial Neural Network
Bukidnon State University（布基农州立大学）
本文提出融合 RDV IW 技术的 ANN-PSO 预测框架，通过抛物线下降速度机制改善 PSO 收敛与 ANN 精度，并在 HIV/AIDS 预测中显著降低误差和计算时间。
2024-01-10 cs.AI cs.LG cs.NE
