A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences（阿塞拜疆国家科学院控制系统研究所）
本文对比了多层感知器在预计算权重与随机初始化权重下的表现，发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
On the Approximation and Complexity of Deep Neural Networks to Invariant Functions
Nanjing Normal University（南京师范大学）；Nanjing University（南京大学）
近年来，深度神经网络在各个领域都掀起了一股研究热潮，但理论上还没有得到很好的理解。深度神经网络的理论表征应该指出它们的近似能力和复杂性，即，显示哪种架构和大小足以处理相关任务。这项工作通过理论上研究深度神经网络对不变函数的逼近和复杂性，在这个方向上迈出了一步。我们首先证明了不变函数可以被深度神经网络普遍逼近。然后，我们证明了各种类型的神经网络模型，包括复值神经网络，卷积神经网络和贝叶斯神经网络使用多项式数量的参数或优化迭代，可以渐近近似广泛的不变函数。我们还提供了一个可行的应用程序，连接参数估计和预测的高分辨率信号与我们的理论结论。仿真实验结果表明了该方法的有效性。
2022-10-27 cs.AI cs.LG
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University（奥古斯塔大学）
本文针对量化神经网络压缩，通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差，且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
Graph Neural Networks for Learning Equivariant Representations of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Samsung - SAIT AI Lab, Montreal（三星SAIT人工智能实验室（蒙特利尔））；Carnegie Mellon University（卡内基梅隆大学）；TNO（荷兰应用科学研究组织）
提出将神经网络表示为参数计算图，利用图神经网络和transformers保留置换对称性，使单一模型能编码多样架构，在多项任务上优于现有方法。
2024-07-23 cs.AI cs.LG stat.ML
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks
IEEE Publication Technology Group（IEEE出版技术组）
脉冲神经网络（SNN）是一种基于脑的机器学习算法，具有生物相容性和无监督学习能力等优点。以前的工作已经表明，将人工神经网络（ANN）转换为SNN是实现SNN的实用且有效的方法。然而，缺乏训练非精度损失SNN的基本原理和理论基础。本文建立了线性泄漏-积分-激发模型（LIF）/SNN的生物学参数与ReLU-AN/深度神经网络（DNN）参数之间的精确数学映射。这种映射关系在一定条件下得到了解析证明，并通过模拟和实际数据实验得到了验证。它可以作为两类神经网络各自优点的潜在结合的理论基础。
2022-05-31 cs.AI cs.LG cs.NE
Assessing Intelligence in Artificial Neural Networks
National Center for the Advancement of Translational Sciences（国家转化科学促进中心）；National Institutes of Health（美国国立卫生研究院）；Axle Informatics（Axle信息学公司）
这项工作的目的是开发衡量标准，以评估平衡神经网络大小和任务性能的网络架构。为此，引入神经效率的概念来衡量神经层利用率，并创建了第二个称为人工智能商数（aIQ）的指标来平衡神经网络性能和神经网络效率。为了研究aIQ和神经效率，在MNIST上训练了两个简单的神经网络：全连接网络（LeNet-300-100）和卷积神经网络（LeNet-5）。具有最高aIQ的LeNet-5网络的准确度低2.32%，但包含的参数比最高准确度网络少30，912倍。批量归一化和dropout层都被发现可以提高神经效率。最后，高aIQ网络被证明是记忆和过度训练抵抗，能够学习正确的数字分类，准确率为92.51%，即使75%的类标签是随机的。这些结果证明了aIQ和神经效率作为平衡网络性能和大小的指标的实用性。
2020-06-03 cs.AI cs.CV cs.LG
Survey of Dropout Methods for Deep Neural Networks
University of Toronto（多伦多大学）
丢弃方法是一种用于神经网络训练或推理的随机技术，已经产生了重大的研究兴趣，并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的，但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史，他们的各种应用，以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
Perception-Informed Neural Networks: Beyond Physics-Informed Neural Networks
Ferdowsi University of Mashhad（法尔多斯大学）
本文提出感知信息神经网络（PrINNs）框架，通过损失函数整合感知信息与专家知识，扩展物理信息神经网络，支持多种信息形式，实现数据驱动建模，并引入MOEINNs、TKINNs和FINNs等变体，以增强复杂系统建模能力。
2025-05-24 cs.AI cs.LG cs.NE
Introduction to Neural Network Verification
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
深度学习改变了我们对软件及其功能的看法。但深层神经网络是脆弱的，它们的行为往往令人惊讶。在许多情况下，我们需要对神经网络的安全性、正确性或鲁棒性提供形式化的保证。这本书涵盖了从形式化验证的基本思想，以及它们对神经网络和深度学习推理的适应。
2021-10-04 cs.AI cs.LG cs.PL
Approximate Bisimulation Relations for Neural Networks and Application to Assured Neural Network Compression
Augusta University（奥古斯塔大学）；Southwest Jiaotong University（西南交通大学）
本文提出了前馈神经网络的近似互模拟关系的概念。在近似互模拟关系的框架下，基于神经网络的可达性分析，提出了一种新的神经网络合并方法，用于计算两个神经网络之间的近似互模拟误差。所开发的方法能够定量测量两个神经网络的输出之间的距离具有相同的输入。然后，我们应用近似互模拟关系结果来执行神经网络模型降阶并计算压缩精度，即，确保神经网络压缩。最后，利用保证的神经网络压缩，加速了ACAS Xu神经网络的验证过程，验证了本文提出的近似互模拟方法的有效性和优越性。
2022-02-02 cs.AI cs.LG cs.SY
Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；SEGITTUR（西班牙旅游技术与创新管理公司）
神经网络的训练通常用验证（保持）集来监视，以估计模型的泛化。这样做不是测量模型的内在属性，以确定它是否正确地学习。在这项工作中，我们建议研究与代数拓扑，特别是持久同源（PH）的神经网络的训练。利用神经网络的单纯复表示，研究了不同结构和多个数据集的神经网络学习过程中PH图距离的演化。结果表明，连续神经网络状态之间的PH图距离与验证精度相关，这意味着神经网络的泛化误差可以在没有任何保持集的情况下进行内在估计.
2021-05-31 cs.AI cs.LG math.AT
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology（埃因霍温理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Derby（德比大学）
通过深度学习在各个领域的成功，人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性（例如稀疏性、无标度性）中获得灵感，我们认为（与一般实践相反）人工神经网络也不应该具有完全连接的层。在这里，我们提出了人工神经网络的稀疏进化训练，在学习过程中，将两个连续神经元层的初始稀疏拓扑（Erdens-Rényi随机图）进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前，减少了二次参数的数量，而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机，多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Optimal Approximation with Sparse Neural Networks and Applications
我们使用深度稀疏连接的神经网络来测量$L^2(\mathbb R^d)$中的函数类的复杂性，通过限制存储神经网络的连接和内存要求。我们还介绍了表示系统-一个可数的函数集合，以指导神经网络，因为近似理论与表示系统已经在数学中得到了很好的发展。然后我们证明了基本界定理，这意味着函数类本身的一个内在量可以给出有关神经网络和表示系统的逼近能力的信息。我们还提供了一种将现有的表示系统逼近理论转化为神经网络逼近理论的方法，极大地放大了神经网络的实用价值。最后，利用神经网络逼近B样条函数，生成B样条曲线。然后，我们分析了一类称为$β$卡通函数的复杂性，使用率失真理论和楔形波构造。
2021-08-14 cs.AI cs.LG math.OC
Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise
UCLA（加州大学洛杉矶分校）；UC Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
神经常微分方程（Neural ODE）已被提出作为ResNet架构的连续近似。离散神经网络中一些常用的正则化机制（如dropout，Gaussian noise）在当前的神经ODE网络中缺失。在本文中，我们提出了一个新的连续神经网络框架，称为神经随机微分方程（神经网络）网络，它自然地结合了各种常用的正则化机制的基础上随机噪声注入。我们的框架可以对离散网络中经常用于正则化目的的各种类型的噪声注入进行建模，例如每个块中的dropout和加性/乘性噪声。我们提供了理论分析，解释了神经网络模型对输入扰动/对抗攻击的鲁棒性提高。此外，我们证明了神经网络可以实现比神经ODE更好的泛化，并且对对抗性和非对抗性输入扰动具有更强的抵抗力。
2019-06-05 cs.AI cs.CV cs.LG
Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics
University of Cincinnati（辛辛那提大学）；Visvesvaraya Technological University（维斯韦斯瓦拉亚理工大学）
本文设计光神经处理器，提出利用光遗传精确激活和基于 STDP 的反向传播间接训练模拟活体神经网络，用于图像检测并可潜在部署于混合机器人，准确率媲美传统训练算法。
2024-01-17 cs.AI cs.ET cs.LG
Feature Weight Tuning for Recursive Neural Networks
Stanford University（斯坦福大学）
本文讨论了如何递归神经网络模型可以自动遗漏无用的信息，并强调重要的证据，换句话说，执行“权重调整”更高层次的表示收购。我们提出了两个模型，加权神经网络（WNN）和二进制期望神经网络（BENN），自动控制有多少一个特定的单元有助于更高层次的表示。所提出的模型可以被看作是一个更强大的组合函数嵌入采集递归神经网络。实验结果表明，显着改善标准的神经模型。
2014-12-13 cs.AI cs.CL cs.LG
From Neural Networks to Logical Theories: The Correspondence between Fibring Modal Logics and Fibring Neural Networks
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Sony AI Barcelona（巴塞罗那索尼人工智能实验室）；Sony AI Tokyo（东京索尼人工智能实验室）；City St George’s, University of London（伦敦大学城圣乔治学院）
本文形式化纤维神经网络与纤维模态逻辑模型之间的对应关系，并据此推导 GNN、GAT 与 Transformer 编码器的非一致逻辑表达能力结果。
2025-09-28 cs.AI
Planarian Neural Networks: Evolutionary Patterns from Basic Bilateria Shaping Modern Artificial Neural Network Architectures
Harrisburg University of Science and Technology（哈里斯堡科技大学）；Amgen Inc.（安进公司）；DevIS LLC（DevIS有限责任公司）；Nanjing Audit University（南京审计大学）
本文受涡虫由一个脑和两条神经索构成的神经系统启发，以ResNet为基础提出涡虫式神经网络，并在CIFAR-10/100上验证其图像分类准确率优于基线模型。
2025-01-08 cs.AI cs.CV cs.LG
A Survey of Recursive and Recurrent Neural Networks
Department of Automation, College of Artificial Intelligence, China University of Petroleum, Beijing, Beijing, China（自动化系、人工智能学院、中国石油大学、北京、北京、中国）
本文系统梳理递归与循环神经网络，按结构、目标函数和学习算法将其分为三大类，阐述模型原理、变形、进展与应用，并展望未来方向。
2025-10-16 cs.AI cs.NE
Self-Organizing Multilayered Neural Networks of Optimal Complexity
研究了非代表学习集下最优复杂度神经网络的自组织原理。提出了多层神经网络的自组织方法，并将其用于逻辑神经网络的训练，应用于医学诊断。
2005-04-13 cs.AI cs.NE
Self-organizing neural networks in classification and image recognition
自组织神经网络被用于OPERA实验中的砖块发现。自组织神经网络和小波分析用于从图像中识别和提取车号。
2004-06-24 cs.AI cs.CV
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
An Introductory Review of Spiking Neural Network and Artificial Neural Network: From Biological Intelligence to Artificial Intelligence
Tsinghua University（清华大学）；McGill University（麦吉尔大学）
本文综述了脉冲神经网络与人工神经网络，从生物神经元基础、模型、回路连接到学习机制与架构，旨在推动类脑智能和通用人工智能发展。
2022-04-09 cs.AI cs.NE
NeuraLunaDTNet: Feedforward Neural Network-Based Routing Protocol for Delay-Tolerant Lunar Communication Networks
School of Computer Science, The University of Nottingham（诺丁汉大学计算机科学学院）
针对月球DTN通信中的高延迟、路由难预测和中断问题，本文提出NeuraLunaDTNet，利用前馈神经网络在动态时空图中学习接触计划以增强PRoPHET路由效率。
2024-04-07 cs.AI cs.NI
Verification of Neural Networks (Lecture Notes)
CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
本文从理论角度介绍神经网络验证，涵盖前馈网络、循环网络、注意力机制和Transformer，以及规范语言和算法验证技术。
2026-04-28 cs.AI cs.FL cs.LO
CheckINN: Wide Range Neural Network Verification in Imandra (Extended)
Heriot-Watt University（赫瑞-瓦特大学）；Imandra Inc.（Imandra公司）
神经网络越来越依赖于自动驾驶汽车等复杂安全关键系统的组件。对在更大的验证周期中嵌入神经网络验证的工具和方法有很高的需求。然而，神经网络验证是困难的，因为感兴趣的验证属性的范围很广，每个属性通常只适合于在专门的求解器中验证。在本文中，我们展示了Imandra，一个函数式程序设计语言和定理证明器最初设计用于验证，验证和模拟的金融基础设施，可以提供一个整体的基础设施神经网络验证。我们开发了一个新的库CheckINN，它在Imandra中形式化神经网络，并涵盖了神经网络验证的不同重要方面。
2022-07-28 cs.AI cs.LO cs.PL
Extending Answer Set Programs with Neural Networks
Arizona State University（亚利桑那州立大学）
低级感知与高级推理的集成是人工智能中最古老的问题之一。最近，提出了几个建议，以实现复杂的神经网络架构的推理过程。虽然这些工作的目的是扩展神经网络的推理能力，一个自然的问题，我们认为是：我们可以扩展答案集程序与神经网络，以允许复杂的和高层次的推理神经网络的输出？作为一个初步的结果，我们提出了NeurASP -一个简单的扩展答案集程序，通过拥抱神经网络，其中神经网络输出被视为概率分布在原子事实的答案集程序。我们表明，NeurASP不仅可以提高预先训练的神经网络的感知精度，而且还有助于训练一个神经网络更好地通过逻辑规则的限制。然而，由于内部使用符号推理引擎，使用NeurASP进行训练将比纯神经网络训练花费更多的时间。对于未来的工作，我们计划研究解决NeurASP可扩展性问题的潜在方法。一种潜在的方法是将逻辑程序直接嵌入到神经网络中。在这条路线上，我们计划首先设计一个SAT求解器使用神经网络，然后扩展这样的求解器，以允许逻辑程序。
2020-09-22 cs.AI
A Study on Neural Network Language Modeling
本文对神经网络语言建模进行了详尽的研究。不同的架构的基本神经网络语言模型的描述和检查。研究了对基本神经网络语言模型的几种不同改进，包括重要性采样、词类、缓存和双向递归神经网络（BiRNN），并对每种技术的优缺点进行了评价。然后从模型体系结构和知识表示两个方面探讨了神经网络语言建模的局限性。当按一定的顺序逐字处理时，词序列中的部分统计信息会丢失，而神经网络的权值矩阵和权值向量的更新机制严重限制了NNLM的有效增强。对于知识表示，神经网络语言模型所表示的知识是来自某个训练数据集的词序列的近似概率分布，而不是语言本身的知识或自然语言中的词序列所传达的信息。最后，对神经网络语言建模的进一步改进方向进行了讨论。
2017-08-24 cs.AI cs.CL
