NEWRON: A New Generalization of the Artificial Neuron to Enhance the Interpretability of Neural Networks
Sapienza University of Rome（罗马大学）
在这项工作中，我们制定NEWRON：一个概括的麦卡洛克-皮茨神经元结构。这个新框架旨在探索人工神经元的其他理想特性。我们表明，NEWRON的一些专业化允许网络是可解释的，在他们的表现力没有变化。通过检查我们基于NEWRON的网络产生的模型，我们可以理解管理任务的规则。大量的实验表明，所生成的模型的质量优于传统的可解释模型，并符合或优于标准的神经网络。
2021-10-05 cs.AI cs.LG cs.NE
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
以人工深度神经网络（DNN）为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功，但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力，解释神经网络最近吸引了许多研究关注。在本文中，我们全面的分类的基础上，我们系统地回顾了最近的研究在理解神经网络的机制，描述了可解释性的应用，特别是在医学中，并讨论了未来的可解释性研究的方向，如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
Assessing Intelligence in Artificial Neural Networks
National Center for the Advancement of Translational Sciences（国家转化科学促进中心）；National Institutes of Health（美国国立卫生研究院）；Axle Informatics（Axle信息学公司）
这项工作的目的是开发衡量标准，以评估平衡神经网络大小和任务性能的网络架构。为此，引入神经效率的概念来衡量神经层利用率，并创建了第二个称为人工智能商数（aIQ）的指标来平衡神经网络性能和神经网络效率。为了研究aIQ和神经效率，在MNIST上训练了两个简单的神经网络：全连接网络（LeNet-300-100）和卷积神经网络（LeNet-5）。具有最高aIQ的LeNet-5网络的准确度低2.32%，但包含的参数比最高准确度网络少30，912倍。批量归一化和dropout层都被发现可以提高神经效率。最后，高aIQ网络被证明是记忆和过度训练抵抗，能够学习正确的数字分类，准确率为92.51%，即使75%的类标签是随机的。这些结果证明了aIQ和神经效率作为平衡网络性能和大小的指标的实用性。
2020-06-03 cs.AI cs.CV cs.LG
Activation Functions in Artificial Neural Networks: A Systematic Overview
Ruhr-University Bochum（波鸿鲁尔大学）
激活函数塑造人工神经元的输出，因此，一般来说是神经网络的组成部分，特别是深度学习。一些激活函数，如logistic和relu，已经使用了几十年。但随着深度学习成为主流研究课题，新的激活函数如雨后春笋般涌现，导致理论和实践上的混乱。本文提供了流行的激活函数及其属性的分析性但最新的概述，这使得它成为任何研究或应用神经网络的人的及时资源。
2021-01-25 cs.AI cs.LG cs.NE
Meta-Learning Evolutionary Artificial Neural Networks
在本文中，我们提出了MLEANN（元学习进化人工神经网络），人工神经网络的自适应优化，其中的神经网络架构，激活函数，连接权重，学习算法及其参数的自动计算框架适应根据问题。我们探讨了MLEANN和传统设计的人工神经网络的函数逼近问题的性能。为了评估比较性能，我们使用了三个不同的著名的混沌时间序列。本文还介绍了目前流行的神经网络学习算法，并给出了一些与收敛速度和泛化性能有关的实验结果。研究了反向传播算法、共轭梯度算法、拟牛顿算法和Levenberg-Marquardt算法对三种混沌时间序列的性能。当激活函数和结构改变时，不同的学习算法的性能进行了评估。我们进一步提出的理论背景，算法，设计策略，并进一步证明如何有效的和必然的建议MLEANN框架设计的神经网络，这是更小，更快，更好的泛化性能。
2004-05-06 cs.AI
Motion Planning Of an Autonomous Mobile Robot Using Artificial Neural Network
Mody Institute of Technology and Science（莫迪理工学院）；PEC University of Technology（旁遮普工程学院大学）
本文介绍了电子设计和运动规划的机器人决策的基础上，关于它的直线运动和精确转弯的人工神经网络（ANN）。人工神经网络有助于机器人的学习，使其自主执行运动。计算的权重在微控制器中实现。性能经测试是优秀的。
2012-07-20 cs.AI cs.LG cs.NE
Simulating reaction time for Eureka effect in visual object recognition using artificial neural network
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, NICT（信息与神经网络中心（CiNet），高级信息通信技术研究所，日本信息通信研究机构）；Osaka University（大阪大学）
人类大脑可以在观察一段时间后识别隐藏在严重退化图像中的物体，这被称为一种尤里卡效应，可能与人类的创造力有关。先前的心理学研究表明，这种“尤里卡识别”的基础是多种随机活动的神经过程。在这里，我们构建了一个基于人工神经网络的模型，模拟人类尤里卡识别的特点。
2022-06-30 cs.AI cs.CV cs.LG
Artificial Neural Network in Cosmic Landscape
Walter Burke Institute for Theoretical Physics, California Institute of Technology, Pasadena, California 91125, USA（沃尔特·伯克理论物理研究所，加州理工学院，帕萨迪纳，加利福尼亚州91125，美国）
本文提出利用人工神经网络从宇宙学角度生成暴胀景观，通过多层感知机的通用近似定理解决传统数值模拟的复杂度问题。
2017-12-28 astro-ph.CO cs.AI cs.LG
Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）；Cornell University（康奈尔大学）
纵观历史，人工智能特别是人工神经网络的发展一直是开放的，并不断受到对大脑日益加深的理解的启发，比如神经认知机的启发，它是卷积神经网络的开创性工作。根据新兴领域NeuroAI的动机，大量的神经科学知识可以通过赋予网络更强大的功能来帮助催化下一代AI。正如我们所知，人类大脑有许多形态和功能不同的神经元，而人工神经网络几乎完全建立在一个单一的神经元类型。在人类大脑中，神经元的多样性是各种生物智能行为的一个使能因素。由于人工网络是人类大脑的缩影，因此引入神经元多样性对于解决人工网络的基本问题（如效率、可解释性和记忆）应该是有价值的。在本书中，我们首先讨论了生物神经元多样性的分类以及生物神经元中信息传递和处理的特征。然后，我们回顾了人工网络设计新的神经元的研究。接下来，我们将讨论神经元多样性可以为人工网络带来什么好处，以及在几个重要领域的示例性应用。最后，我们讨论了神经元多样性的挑战和未来方向，以探索NeuroAI的潜力。
2023-03-11 cs.AI cs.ET cs.LG
Psychology of Artificial Intelligence: Epistemological Markers of the Cognitive Analysis of Neural Networks
Cabinet Chrysippe R&D（克律西普研发工作室）；Paris University（巴黎大学）
本研究围绕人工智能的认知本质与知识存在形式问题，提出需以神经元层面的认知粒度开展人工智能心理学研究，并明确相关认识论里程碑是探究合成神经认知的前提。
2024-07-04 cs.AI q-bio.NC
Applications of Artificial Neural Networks in Microorganism Image Analysis: A Comprehensive Review from Conventional Multilayer Perceptron to Popular Convolutional Neural Network and Potential Visual Transformer
Northeastern University（东北大学）；Hunan First Normal University（湖南第一师范学院）；University of Luebeck（吕贝克大学）
微生物广泛分布于人类日常生活环境中。它们在环境污染控制、疾病预防和治疗以及食品和药品生产方面发挥着重要作用。微生物的分析对于充分利用不同的微生物是必不可少的。传统的分析方法费时费力。然而，微生物图像的自动分析面临着许多挑战，如应用场合的多样性对算法的鲁棒性的要求，图像特征的不显著性和易欠分割性，以及分析任务的多样性等。因此，本文对基于人工神经网络的微生物图像分析的特点进行了综述。本文首先介绍了本文的研究背景和动机。然后介绍了人工神经网络的发展和代表性网络。之后，从不同任务的角度对基于经典和深度神经网络的微生物图像分析相关论文进行了综述。最后，对该方法进行了分析，并对未来的发展方向进行了展望.
2022-03-24 cs.AI cs.CV
On the use of generative deep neural networks to synthesize artificial multichannel EEG signals
Northeastern University（东北大学）；Graz University of Technology（格拉茨工业大学）
最近生成式深度学习的承诺最近引起了人们对其在神经工程中的潜在用途的兴趣。本文首先回顾了近年来利用深度神经网络生成人工脑电信号的研究。随后，我们提出了我们的可行性实验产生特定条件的多通道EEG信号，使用条件变分自编码器。通过操纵真实的静息状态EEG历元，我们提出了一种方法来合成生成时间序列多通道信号，该信号显示预期在不同的运动想象条件下观察到的频谱-时间EEG模式。
2021-02-16 cs.AI eess.SP
Polarized skylight orientation determination artificial neural network
Nanjing University of Science and Technology（南京理工大学）
本文提出了一种利用偏振天空光确定方位的人工神经网络。该神经网络具有特定的扩张卷积，可以提取不同偏振方向的光强信息。然后，在网络中直接提取偏振度（DOP）和偏振角（AOP）。此外，设计了方向的指数函数编码作为网络输出，更好地反映了昆虫对偏振信息的编码，提高了方向确定的准确性。最后，在一个公开的偏振天窗导航数据集上进行了训练和测试，实验结果证明了该网络的稳定性和有效性。
2021-07-06 cs.AI cs.CV
Neural Networks, Artificial Intelligence and the Computational Brain
University of Ilorin（伊洛林大学）
近年来，一些研究提供了关于大脑功能的见解，大脑由神经元组成，并通过突触相互连接形成网络。神经网络由神经元的互连系统形成，并且具有两种类型，即人工神经网络（ANN）和生物神经网络（互连神经细胞）。人工神经网络在计算上受到人类神经元的影响，并用于对神经系统进行建模。人工神经网络的推理基础在异常检测，医学领域，如即时医生，电子鼻，模式识别和建模生物系统中非常有用。利用人类大脑的架构推进人工智能的研究，旨在通过研究大脑来建立系统模型，而不是寻找大脑模型的技术。本研究探讨了人工神经网络作为生物神经元模拟器的概念及其应用领域。它还通过将神经网络与当代计算机及其现代实现进行比较，探讨了为什么需要类脑智能以及它与计算框架的不同之处。
2020-12-25 cs.AI q-bio.NC
Using Artificial Neural Network Techniques for Prediction of Electric Energy Consumption
COMSATS Institute of Information Technology（COMSATS信息技术学院）；National Mathematical Centre（国家数学中心）
由于预测现实世界问题的不精确性和不确定性，人工神经网络（ANN）技术在建模和优化方面变得越来越有用。提出了一种基于人工神经网络的电力消费量预测方法。为了有效地规划和运行电力系统，需要最佳的预测工具，能源运营商的利润最大化，也提供最大的满意度，能源消费者。收集了1994年至2013年加沙地带消耗电能的月度数据。数据进行了训练，并使用2倍和K倍交叉验证技术验证了所提出的模型。该模型已与实际的能源消耗数据进行了测试，并产生令人满意的性能。
2014-12-06 cs.AI cs.NE
Towards Self-Assembling Artificial Neural Networks through Neural Developmental Programs
IT University of Copenhagen（哥本哈根信息技术大学）
本文提出由仅依赖局部通信的Neural Developmental Program（NDP）引导神经网络自组织生长，并在进化训练、在线/离线RL及监督学习等基准上初步验证其潜力。
2023-07-17 cs.AI cs.NE
Comparative study of Financial Time Series Prediction by Artificial Neural Network with Gradient Descent Learning
金融预测是信号处理问题的一个例子，由于小样本、高噪声、非平稳性和非线性，而股票市场价格的快速预测对于企业的战略规划是非常重要的，本研究的目的是建立一个比较预测模型，前馈多层人工神经网络，用于金融时间序列预测的递归时间延迟神经网络。这项研究是在GoogleFinance提供的历史股票价格数据集的帮助下开发的。为了开发这种预测模型，采用了具有梯度下降学习的反向传播方法。最后，神经网络，学习与所述算法被发现是熟练的预测非平稳噪声金融时间序列。
2012-01-31 cs.AI cs.NE
Born to Learn: the Inspiration, Progress, and Future of Evolved Plastic Artificial Neural Networks
Loughborough University（拉夫堡大学）；University of Central Florida（中佛罗里达大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生物可塑性神经网络是一种通过进化、发展和终身学习而形成的具有非凡计算能力的系统。这些因素的相互作用导致了适应性行为和智能的出现。受这种复杂自然现象的启发，进化的塑性人工神经网络（EPANN）使用模拟进化来培育具有各种动力学，架构和可塑性规则的塑性神经网络：这些人工系统由输入，输出和塑性组件组成，这些组件会根据环境中的经验而变化。这些系统可以自主地发现新的自适应算法，并导致生物适应出现的假设。EPANN在过去二十年中取得了相当大的进展。目前人工神经网络的科学和技术进步正在为全新的方法和结果创造条件。特别是，手工设计网络的局限性可以通过更灵活和创新的解决方案来克服。本文汇集了各种鼓舞人心的想法，定义EPANN领域。主要方法和结果进行了综述。最后，提出了新的机遇和发展。
2018-08-08 cs.AI cs.NE
Artificial Intelligence to Enhance Mission Science Output for In-situ Observations: Dealing with the Sparse Data Challenge
在地球的磁层中，在任何特定时间，只有不到12个专门的探测器在低地球轨道以外进行现场观测。因此，我们对它的全球结构和演化、它的主要活动过程、磁暴和亚暴的机制等都知之甚少。需要开发新的人工智能（AI）方法，包括机器学习、数据挖掘和数据同化，以及新的AI任务，以应对这一稀疏数据挑战。
2022-12-26 astro-ph.EP astro-ph.IM cs.LG
Robustness in sparse artificial neural networks trained with adaptive topology
Dept. of Biological Physics, Eötvös Loránd University（生物物理学系，欧文·洛朗大学）；Semmelweis University, Faculty of Health and Public Administration, Health Services Management Training Centre（塞梅利维斯大学，公共健康与行政学院，卫生服务管理培训中心）；Center for Complex Networks and Systems Research（复杂网络与系统研究所以）；Luddy School of Informatics, Computing, and Engineering（信息学、计算与工程学院）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本研究提出了一种使用适应性拓扑训练的稀疏神经网络，通过实验验证了其在图像分类任务中的高效性和鲁棒性。
2026-02-25 cs.LG physics.soc-ph
Artificial Neural Networks generated by Low Discrepancy Sequences
NVIDIA（英伟达）
提出利用低偏差序列在稠密图上生成稀疏神经网络，支持确定性初始化与从头稀疏训练，避免存储体冲突，在低计算复杂度下达到接近稠密网络的准确率。
2023-11-27 cs.LG
SIDE: Sparse Information Disentanglement for Explainable Artificial Intelligence
Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学学院）；Ardigen SA（Ardigen公司）
针对原型部件网络在大规模视觉任务中解释复杂的问题，本文提出 SIDE，通过稀疏化训练、剪枝及 sigmoid 激活，在保持准确率的同时将解释规模缩减逾90%。
2025-07-25 cs.AI cs.CV cs.LG
Sparse evolutionary Deep Learning with over one million artificial neurons on commodity hardware
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）；Iowa State University（爱荷华州立大学）
人工神经网络（ANN）已经成为研究界的热门话题。尽管人工神经网络取得了成功，但由于模型大小的不断增加和数据量的前所未有的增长，在商品硬件上训练和部署现代人工神经网络是具有挑战性的。特别是对于微阵列数据，非常高的维度和少量的样本使得机器学习技术难以处理。此外，诸如图形处理单元（GPU）的专用硬件是昂贵的。稀疏神经网络是解决这些挑战的主要方法。然而，现成的稀疏性诱导技术要么从预先训练的模型操作，要么通过二进制掩码强制执行稀疏结构。稀疏神经网络的训练效率在实际中很难得到。在本文中，我们介绍了一种技术，使我们能够训练真正稀疏的神经网络与固定的参数计数在整个训练。实验结果表明，该方法可以直接应用于处理高维数据，同时比传统的两阶段方法具有更高的精度。此外，我们已经能够创建具有超过一百万个神经元的真正稀疏的多层感知器（MLP）模型，并在没有GPU的典型笔记本电脑上对它们进行训练，这远远超出了任何最先进的技术。
2021-01-16 cs.LG cs.NE stat.ML
Artificial Neural Network and its Application Research Progress in Distillation
East China University of Science and Technology（华东理工大学）
人工神经网络学习各种规则和算法，形成不同的信息处理方式，已广泛应用于各种化工过程。其中，随着精馏技术的发展，其生产规模不断扩大，对其计算要求也更加严格，由于人工神经网络具有自学习、联想存储和高速搜索最优解的优点，可以对精馏操作进行高精度的模拟预测，因此被广泛应用于精馏化工领域。本文对人工神经网络进行了基本的概述，并介绍了国内外人工神经网络在精馏中的应用研究。
2021-10-01 cs.LG
HiveNAS: Neural Architecture Search using Artificial Bee Colony Optimization
Staffordshire University（斯塔福德郡大学）
针对传统神经网络开发依赖经验试错、NAS领域元启发式算法研究不足的问题，提出基于人工蜂群优化的NAS框架HiveNAS，其以远少于现有顶尖群智能NAS框架的耗时实现了更优性能。
2023-06-15 cs.AI cs.LG cs.NE
On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron
ALGLIB Project（ALGLIB项目）
深度神经网络在几乎所有感知基准上都达到了人类水平的准确性。有趣的是，这些进步是使用了两个几十年前的想法：（a）基于线性求和的人工神经元和（b）SGD训练。然而，除了准确性之外，还有一些重要的指标：计算效率和对抗对抗性扰动的稳定性。在本文中，我们提出了两个紧密相连的方法来提高这些指标的轮廓识别任务：（a）一种新的模型的人工神经元，一个“强神经元”，具有低硬件要求和固有的鲁棒性对抗性扰动和（b）一种新的建设性的训练算法，生成稀疏网络与$O(1)$连接每个神经元。我们证明了我们的方法的可行性，通过实验SVHN和GTSRB基准。我们实现了令人印象深刻的10 - 100倍的操作数减少（与其他稀疏化方法相比为10倍，与密集网络相比为100倍），并大幅降低了硬件要求（使用8位定点数学），而模型精度没有降低。在没有任何对抗对抗措施的情况下，实现了对对抗扰动的卓越稳定性（超过对抗训练），仅依赖于强神经元的鲁棒性。我们还证明了我们的强神经元的组成块是唯一对对抗攻击具有完美稳定性的激活函数。
2020-06-16 cs.CV cs.LG cs.NE
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
On a Sparse Shortcut Topology of Artificial Neural Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Massachusetts（马萨诸塞大学）
在已建立的网络架构中，快捷连接通常用于将早期层的输出作为后续层的附加输入。尽管捷径具有非凡的有效性，但其机制和特征仍存在悬而未决的问题。例如，为什么快捷键很强大？为什么快捷键的泛化效果很好？本文研究了一种新的稀疏捷径拓扑的表达性和推广性。首先，我们证明了这种拓扑结构可以使单神经元范围的深度网络能够逼近任何单变量连续函数。然后，我们提出了一种新的宽度有界的通用逼近器，与深度有界的通用逼近器相反，并将近似结果推广到一族同样胜任的网络。此外，利用推广界理论，我们证明了所提出的捷径拓扑具有良好的推广性。最后，我们通过将所提出的拓扑与流行的架构（包括ResNet和DenseNet）在知名的基准上进行比较来证实我们的理论分析，并执行显着图分析来解释所提出的拓扑。我们的工作有助于增强对捷径作用的理解，并为创新神经架构提供了进一步的机会。
2021-11-11 cs.LG stat.ML
Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks
University of Cambridge（剑桥大学）
记忆重放可能是生物大脑学习的关键，它能够不断地学习新任务，而不会灾难性地干扰以前的知识。另一方面，人工神经网络遭受灾难性的遗忘，往往只表现良好的任务，他们最近trainedon.In这项工作中，我们探讨了应用潜在空间为基础的记忆重放分类使用人工神经网络。我们能够保持良好的性能，在以前的任务中存储只有一小部分的原始数据在压缩的潜在空间版本。
2022-01-05 cs.LG
SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic, Inc.（Neural Magic公司）
我们提供了一个新的有效版本的反向传播算法，专门用于正在训练的神经网络的权重是稀疏的情况。我们的算法是通用的，因为它适用于任意（非结构化）稀疏和常见的层类型（例如，卷积的或线性的）。我们在商用CPU上提供了一个快速的矢量化实现，并表明它可以在端到端的运行时实验中产生加速，无论是在使用已经稀疏化的网络的迁移学习中，还是在从头开始训练稀疏网络中。因此，我们的研究结果为商品硬件上的稀疏训练提供了第一个支持。
2023-02-09 cs.LG
EnergyNet: Energy-based Adaptive Structural Learning of Artificial Neural Network Architectures
Google Research（谷歌研究院）
我们提出了E NERGY NET，一个新的分析和构建人工神经网络架构的框架。我们的方法以无监督的方式自适应地学习网络的结构。该方法是基于能量函数的理论保证有限数量的节点的限制玻尔兹曼机（RBM）。我们目前的实验结果表明，最终的网络适应给定问题的复杂性。
2017-11-08 cs.LG
New Designed Loss Functions to Solve Ordinary Differential Equations with Artificial Neural Network
Imperial College London（帝国理工学院）
研究了用人工神经网络（ANN）求解微分方程（DE）的方法，并构造了既满足微分方程又满足DE的初边值条件的损失函数。第二节将损失函数推广到$n^\text{th}$阶常微分方程。其他的构造方法在第3节中进行了研究，并应用于三个不同的模型，以评估其有效性。
2022-12-29 cs.LG
Linear and Nonlinear Identification of Dryer System Using Artificial Intelligence and Neural Networks
当你阅读这些文字时，你正在使用一个复杂的生物神经网络。你有一组高度相互连接的神经元，以促进你的阅读，呼吸，运动和思考。你的每一个生物神经元，一个丰富的组织和化学组合，如果不是速度，也有微处理器的复杂性。你的一些神经结构在你出生时就已经存在了。其他部分已根据经验确定。
2019-02-08 cs.LG
AdaNet: Adaptive Structural Learning of Artificial Neural Networks
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们提出了新的算法自适应学习人工神经网络。我们的算法（AdaNet）自适应地学习网络的结构及其权重。它们基于坚实的理论分析，包括我们详细证明和讨论的数据依赖的泛化保证。我们报告的结果与我们的算法之一，从CIFAR-10数据集提取的几个二进制分类任务的大规模实验。结果表明，我们的算法可以自动学习网络结构与非常有竞争力的性能精度相比，标准方法发现的神经网络实现。
2017-02-28 cs.LG
Topological Insights into Sparse Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Twente（特文特大学）；Scuola Superiore Sant’Anna（圣安娜高等研究院）
稀疏神经网络是减少部署深度神经网络的资源需求的有效方法。最近，出现了自适应稀疏连接的概念，允许通过在训练期间优化稀疏结构来从头开始训练稀疏神经网络。然而，比较不同的稀疏拓扑结构，并确定稀疏拓扑结构如何在训练过程中演变，特别是对于涉及稀疏结构优化的情况，仍然是具有挑战性的开放问题。这种比较变得越来越复杂，因为可能的拓扑比较的数量随着网络的规模呈指数级增加。在这项工作中，我们介绍了一种方法来理解和比较稀疏神经网络拓扑结构的图论的角度。我们首先提出神经网络稀疏拓扑距离（NNSTD）来度量不同稀疏神经网络之间的距离。此外，我们证明了稀疏神经网络可以在性能方面优于过参数化模型，即使没有任何进一步的结构优化。最后，我们还表明，自适应稀疏连接总是可以揭示大量的稀疏子网络与非常不同的拓扑结构优于密集模型，通过量化和比较他们的拓扑进化过程。后一项发现补充了彩票假说，表明有一种更有效和更强大的方法来找到“中奖彩票”。总之，我们的研究结果开始使稀疏神经网络更好的理论理解，并证明了使用图论来分析它们的实用性。
2020-07-04 cs.LG stat.ML
On the Parametric Study of Lubricating Oil Production using an Artificial Neural Network (ANN) Approach
NJIT（新泽西理工学院）；Think box
在这项研究中，一个人工神经网络（ANN）的方法被用来进行参数研究的过程中提取润滑油从重质石油馏分。为了训练模型，我们使用从工业工厂收集的现场数据。进料和溶剂流速、料流温度和混合速率的操作条件被认为是模型的输入，而主产物的流速被认为是神经网络模型的输出。前馈多层感知器神经网络被成功地应用于捕捉输入和输出参数之间的关系。
2016-11-21 cs.LG
Norm-based Generalization Bounds for Compositionally Sparse Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）；Tel-Aviv University（特拉维夫大学）
在本文中，我们研究了深度稀疏神经网络的Rademacher复杂性，其中每个神经元接收少量的输入。我们证明了多层稀疏ReLU神经网络的泛化界，包括卷积神经网络。这些边界与以前的边界不同，因为它们考虑卷积滤波器的范数而不是相关Toeplitz矩阵的范数，与神经元之间的权重共享无关。正如我们在理论上表明，这些界限可能是数量级优于标准的规范为基础的泛化界限和经验，他们几乎是在各种简单的分类问题的泛化估计非空洞。总之，这些结果表明，底层目标函数的组成稀疏性对深度神经网络的成功至关重要。
2023-01-28 cs.LG
SparseDNN: Fast Sparse Deep Learning Inference on CPUs
Stanford University（斯坦福大学）
在过去的几年里，算法和系统在支持有效的深度学习推理方面取得了巨大的飞跃。修剪和量化算法现在可以一致地将神经网络压缩一个数量级。对于压缩的神经网络，已经设计了大量的推理框架来最大化目标硬件的性能。虽然我们在OpenVINO和MNN等生产框架中找到了对量化神经网络的成熟支持，但仍然缺乏对修剪稀疏神经网络的支持。为了应对这一挑战，我们提出了SparseDNN，这是一个针对CPU的稀疏深度学习推理引擎。我们提出了一个稀疏代码生成器的内核级优化，以加速稀疏运算符和新的网络级优化迎合稀疏网络。我们表明，我们的稀疏代码生成器可以实现显着的速度比国家的最先进的稀疏和密集的图书馆。在Huggingface pruneBERT等端到端基准测试中，SparseDNN使用最先进的OpenVINO实现了高达5倍的吞吐量提升。开放源代码库：https://github.com/marsupialtail/sparsednn。
2021-07-21 cs.LG
A Brain-inspired Algorithm for Training Highly Sparse Neural Networks
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
稀疏神经网络吸引了越来越多的兴趣，因为它们表现出与密集网络相当的性能，同时具有计算效率。修剪密集神经网络是获得稀疏神经网络的最广泛使用的方法之一。由于这种方法的高训练成本对于低资源设备来说是负担不起的，因此从头开始稀疏地训练稀疏神经网络最近受到了关注。然而，现有的稀疏训练算法存在各种问题，包括在高稀疏性场景中性能不佳，在训练期间计算密集的梯度信息，或纯随机拓扑搜索。受生物大脑进化和Hebbian学习理论的启发，本文提出了一种新的稀疏训练方法，该方法根据网络中神经元的行为来进化稀疏神经网络。具体地说，我们提出的基于余弦相似性和随机拓扑探索（CTRE）方法，通过利用余弦相似性度量连接的重要性，将最重要的连接添加到稀疏神经网络中，而不需要向后计算稠密梯度，从而进化稀疏神经网络的拓扑结构.我们在8个数据集上进行了不同的实验，包括表格，图像和文本数据集，并证明我们提出的方法在极稀疏的神经网络中的性能优于几种最先进的稀疏训练算法。实现代码可在https://github.com/zahraatashgahi/CTRE上获得
2022-11-10 cs.LG cs.NE
Training Sparse Neural Networks
Indian Institute of Science（印度科学院）
具有大量参数的深度神经网络通常用于大规模计算机视觉任务，例如图像分类。这是使用密集矩阵乘法和卷积的结果。然而，已知稀疏计算效率更高。在这项工作中，我们训练和建立神经网络，隐含地使用稀疏计算。我们引入额外的门变量进行参数选择，并表明，这是相当于使用一个尖峰和平板前。我们在小型和大型网络上实验验证了我们的方法，并在稀疏神经网络模型上实现了最先进的压缩结果。
2016-11-21 cs.CV cs.LG
Highly connected dynamic artificial neural networks
本文介绍了一种实现人工神经网络的面向对象方法。以这种方式获得的网络是高度连接的，因为它们允许网络的任何层中的节点之间的边，并且是动态的，因为节点、节点的边或层的插入或删除可以以直接的方式实现。此外，节点的激活函数在层内不需要是统一的，并且也可以在各个节点内改变。在这种网络中实现前馈步骤和反向传播技术的方法在这里提出。还描述了用于创建网络、用于实现各种动态属性以及用于保存和重新创建网络的方法。
2023-02-17 cs.LG
Adaptive Wind Driven Optimization Trained Artificial Neural Networks
Schlumberger-Doll Research Center（斯伦贝谢-多尔研究中心）
本文介绍了一种新开发的自然启发式优化方法，即自适应风驱动优化（AWDO），前馈人工神经网络（NN）的训练的应用，并提出了对AWDO实现在深度学习（DL）的未来研究的讨论。MNIST数据集数字分类的应用实例揭示了无导数AWDO方法与最速下降方法相比的有趣行为，其中讨论了在深度神经网络中实现AWDO的结果和未来工作。
2019-11-20 cs.LG stat.ML
Artificial Neural Networks and Fault Injection Attacks
Worcester Polytechnic Institute（伍斯特理工学院）
本章是关于人工智能（AI）和神经网络（NN）加速器在面对故障注入攻击时的安全性评估。更具体地说，它讨论了这些平台上的资产，并将它们与加密系统领域已知和深入研究的资产进行了比较。这是为了精确定义威胁模型而必须采取的关键步骤。关于这一点，探讨了安装在NN和AI加速器上的故障攻击。
2021-02-11 cs.CR cs.LG
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University（布拉克大学）
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题，本文提出隐层神经元互联的CHNNet，理论上其收敛速度快于传统前馈神经网络，且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Fast Training of Sparse Graph Neural Networks on Dense Hardware
University of Cambridge（剑桥大学）；MPI Tübingen（马克斯·普朗克研究所图宾根分所）；Google Research, Brain Team（谷歌研究大脑团队）；DeepMind（深度思维）
图神经网络由于其自然编码关系输入数据的能力以及通过对图邻接矩阵的稀疏表示进行操作而扩展到大型图的能力，近年来变得越来越流行。当我们希望使用自定义硬件扩展这些模型时，一个自然的假设是我们需要针对稀疏操作和/或动态控制流定制的硬件。在这项工作中，我们通过使用针对固定大小数据的密集计算的平台来扩展稀疏图神经网络来质疑这一假设。从稀疏矩阵上的数值算法优化中汲取灵感，我们开发了一些技术，可以使用512核TPUv 2 Pod在13分钟内训练Allamanis等人[2018]的稀疏图神经网络模型，而原始训练几乎需要一天。
2019-06-27 cs.LG stat.ML
Finding trainable sparse networks through Neural Tangent Transfer
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）；University of Basel（巴塞尔大学）
深度神经网络已经极大地改变了机器学习，但它们的内存和能量需求是巨大的。相比之下，真正的生物神经网络的要求是相当温和的，而这种紧缩的一个特征可能是它们的稀疏连接。在深度学习中，在特定任务上表现良好的可训练稀疏网络通常使用标签相关的修剪标准来构建。在这篇文章中，我们介绍了神经切线转移，这是一种以无标签方式找到可训练稀疏网络的方法。具体来说，我们发现稀疏网络的训练动态，其特点是神经切线核，模仿那些密集的网络在函数空间。最后，我们在几个标准分类任务上评估了我们的标签不可知方法，并表明所得到的稀疏网络在收敛速度更快的同时实现了更高的分类性能。
2020-07-24 cs.LG cs.NE stat.ML
Particle Swarm Optimization Based Demand Response Using Artificial Neural Network Based Load Prediction
University of Central Florida（中佛罗里达大学）
提出了一种基于粒子群优化算法的电力需求响应模型，并利用人工神经网络进行负荷预测。以美国德克萨斯州奥斯汀市某居民区的电力负荷和气候数据作为人工神经网络的输入，结合日前电价数据求解负荷转移和成本降低问题。结果表明，该模型具有降低支付费用和峰值负荷的能力。
2022-07-10 cs.LG cs.NE
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover（汉诺威莱布尼茨大学）
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战，并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上，当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片，我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片，实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
Training a Functional Link Neural Network Using an Artificial Bee Colony for Solving a Classification Problems
Universiti Tun Hussein Onn Malaysia（马来西亚敦胡先翁大学）
人工神经网络已经成为一种重要的分类工具，并且已经被广泛用于对非线性可分离模式进行分类。最流行的人工神经网络模型是多层感知器（MLP），因为它能够成功地执行分类任务。然而，由于MLP结构的复杂性以及局部极小值捕获、过拟合和权值干扰等问题，使得神经网络训练困难。因此，避免这些问题的简单方法是删除隐藏层。本文提出了功能链接神经网络（FLNN）的能力，以克服MLP的复杂结构，通过使用单层结构，并提出了一种人工蜂群（ABC）优化训练FLNN。该方法有望为分类器提供更好的学习机制，以获得更准确的分类结果
2012-12-31 cs.LG cs.NE
Renormalized Sparse Neural Network Pruning
Pacific Northwest National Lab（太平洋西北国家实验室）；University of Maryland at College Park（马里兰大学帕克分校）
大型神经网络是严重过度参数化的。这样做是因为它提高了训练的最优性。然而，一旦网络被训练，这意味着许多参数可以被归零或修剪，留下一个等效的稀疏神经网络。我们提出重新规范化稀疏神经网络，以提高精度。我们证明了当网络参数聚类或集中时，我们的方法的误差收敛到零。我们证明了，没有重整化，误差一般不收敛到零。我们在真实世界的数据集MNIST，Fashion MNIST和CIFAR-10上实验了我们的方法，并证实了重正化与标准修剪相比在准确性上有很大的提高。
2022-07-08 cs.LG stat.ML
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University（科罗拉多州立大学）
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署，因为它们提供紧凑的模型大小，同时保持推理准确性。由于参数矩阵的稀疏性，稀疏神经网络原则上可以在加速器架构中被利用，以改善能量效率和延迟。然而，为了在实践中实现这些改进，需要探索稀疏感知的软硬件协同设计。在本文中，我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明，与最先进的稀疏电子神经网络加速器相比，SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比，可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
Neural Network Topologies for Sparse Training
MIT Department of Mathematics（麻省理工学院数学系）；MIT Lincoln Laboratory Supercomputing Center（麻省理工学院林肯实验室超级计算中心）
深度神经网络（DNN）的规模正在迅速增长，超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net，它们在稀疏拓扑上进行初始化和训练，既不参考父密集DNN，也不进行后续修剪。我们提出了一种算法，该算法确定性地生成稀疏DNN拓扑，作为一个整体，比X-Net拓扑更加多样化，同时保留X-Nets所需的特性。
2018-09-14 cs.LG stat.ML
RadiX-Net: Structured Sparse Matrices for Deep Neural Networks
MIT（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络（DNN）的规模正在迅速增长，超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net，它们在稀疏拓扑上进行初始化和训练，既不参考父密集DNN，也不进行后续修剪。我们提出了一种确定性地生成RadiX-Nets的算法：稀疏DNN拓扑结构，作为一个整体，比X-Net拓扑结构更加多样化，同时保留了X-Nets所需的特性。我们进一步提出了一个基于长期观察的功能分析猜想，即稀疏神经网络拓扑结构可以获得与密集拓扑结构相同的表达能力
2019-04-30 cs.LG stat.ML
Collaboration between parallel connected neural networks -- A possible criterion for distinguishing artificial neural networks from natural organs
Sun Yat-sen University（中山大学）
本研究发现并联人工神经网络存在子网络非最优、优劣子网络贡献相当、全子网络错误仍能输出正确结果的特性，提出以此作为区分人工神经网络与天然器官、衡量仿生水平的准则，并验证ReLU激活函数比sigmoid、Tanh更能提升网络仿生度。
2022-08-21 cs.LG cs.NE
