Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学)
本文提出向量值神经网络框架 V-nets,通过自然建模特征通道间相关性减少参数并提升训练稳健性,并阐明其与传统实值网络及超复值网络的关系和实现方法。
2024-08-01 cs.LG cs.NE
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Collaboration between parallel connected neural networks -- A possible criterion for distinguishing artificial neural networks from natural organs
Sun Yat-sen University(中山大学)
本研究发现并联人工神经网络存在子网络非最优、优劣子网络贡献相当、全子网络错误仍能输出正确结果的特性,提出以此作为区分人工神经网络与天然器官、衡量仿生水平的准则,并验证ReLU激活函数比sigmoid、Tanh更能提升网络仿生度。
2022-08-21 cs.LG cs.NE
On the space of coefficients of a Feed Forward Neural Network
我们定义并建立了“等价神经网络”的条件--具有不同权重、偏差和阈值函数的神经网络产生相同的关联函数。我们证明了给定一个具有分段线性激励的神经网络$\mathcal{N}$,描述所有等价神经网络的系数空间由一个半代数集给出。这个结果是通过使用Tarski-Seidenberg定理研究给定分段线性函数的不同表示来获得的。
2021-09-07 cs.LG cs.NE
Spiking Neural Networks with Random Network Architecture
Soochow University(苏州大学)
本研究针对脉冲神经网络训练框架不统一、基础问题待解的现状,提出仅需训练部分权重、兼容经典训练方法的RanSNN架构,在保证性能的同时提升了训练效率,兼具通用性与稳定性。
2025-05-19 cs.LG cs.NE
Cortex Neural Network: learning with Neural Network groups
Purdue University(普渡大学);Department of Computer Science(计算机科学系)
神经网络已成功地应用于许多现实问题,如图像识别和机器翻译。然而,对于当前的神经网络架构,很难执行复杂的认知任务,例如,一起处理图像和音频输入。大脑皮层作为大脑的重要结构,对动物完成复杂的认知任务起着重要作用。我们将大脑皮层的结构视为当前人工神经网络设计中缺失的部分。在本文中,我们的目的皮层神经网络(CrtxNN)。皮层神经网络是一种由大脑皮层驱动的神经网络的上层结构,它可以在同一个学习系统中处理不同的任务。它能够识别不同的任务并使用不同的方法解决它们。在我们的实现中,皮层神经网络能够处理不同的认知任务,并执行反射,以获得更高的准确性。我们提供了一系列的实验,以检查传统的神经网络的皮层架构的能力。实验结果表明,该算法在皮层神经网络上的识别能力在MNIST和CIFAR10上分别达到了98.32%和62%的识别准确率,可以有效地减少40%的损失。
2018-04-10 cs.CV cs.LG cs.NE
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University(奥古斯塔大学)
本文针对量化神经网络压缩,通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差,且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
One weird trick for parallelizing convolutional neural networks
Google Inc.(谷歌公司)
我提出了一种新的方法来并行化多个GPU上的卷积神经网络的训练。当应用于现代卷积神经网络时,该方法的扩展性明显优于所有替代方案。
2014-04-26 cs.DC cs.LG cs.NE
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks
IEEE Publication Technology Group(IEEE出版技术组)
脉冲神经网络(SNN)是一种基于脑的机器学习算法,具有生物相容性和无监督学习能力等优点。以前的工作已经表明,将人工神经网络(ANN)转换为SNN是实现SNN的实用且有效的方法。然而,缺乏训练非精度损失SNN的基本原理和理论基础。本文建立了线性泄漏-积分-激发模型(LIF)/SNN的生物学参数与ReLU-AN/深度神经网络(DNN)参数之间的精确数学映射。这种映射关系在一定条件下得到了解析证明,并通过模拟和实际数据实验得到了验证。它可以作为两类神经网络各自优点的潜在结合的理论基础。
2022-05-31 cs.AI cs.LG cs.NE
A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices
Rice University(莱斯大学)
生物神经网络继续激发神经网络性能的突破。然而,神经计算的一个关键领域尚未得到充分的重视和研究,这是生物学上合理的、节能的脉冲神经网络,其潜力对于低功耗、移动或其他硬件受限的设置特别有吸引力。我们提出了一个文献综述的解释,优化,效率和准确性的脉冲神经网络的最新发展。主要贡献包括识别、讨论和比较脉冲神经网络优化、能效和评估中的前沿方法,从第一原理开始,以便新从业者可以使用。
2023-03-21 cs.LG cs.NE eess.IV
Deep Neural Networks - A Brief History
Virginia Commonwealth University(弗吉尼亚联邦大学);IITiS Polish Academy of Sciences(波兰科学院信息技术研究所)
介绍深度神经网络及其历史。
2017-01-19 cs.CV cs.LG cs.NE
Energy-efficient Spiking Neural Network Equalization for IM/DD Systems with Optimized Neural Encoding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
提出基于脉冲神经网络的IM/DD系统均衡器,通过优化神经编码在降低能耗的同时提升性能。
2023-12-20 cs.LG cs.NE eess.SP
Survey of Dropout Methods for Deep Neural Networks
University of Toronto(多伦多大学)
丢弃方法是一种用于神经网络训练或推理的随机技术,已经产生了重大的研究兴趣,并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的,但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史,他们的各种应用,以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
Perception-Informed Neural Networks: Beyond Physics-Informed Neural Networks
Ferdowsi University of Mashhad(法尔多斯大学)
本文提出感知信息神经网络(PrINNs)框架,通过损失函数整合感知信息与专家知识,扩展物理信息神经网络,支持多种信息形式,实现数据驱动建模,并引入MOEINNs、TKINNs和FINNs等变体,以增强复杂系统建模能力。
2025-05-24 cs.AI cs.LG cs.NE
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology(埃因霍温理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Derby(德比大学)
通过深度学习在各个领域的成功,人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性(例如稀疏性、无标度性)中获得灵感,我们认为(与一般实践相反)人工神经网络也不应该具有完全连接的层。在这里,我们提出了人工神经网络的稀疏进化训练,在学习过程中,将两个连续神经元层的初始稀疏拓扑(Erdens-Rényi随机图)进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前,减少了二次参数的数量,而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机,多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Multi-task Neural Networks for QSAR Predictions
University of Toronto(多伦多大学)
虽然人工神经网络偶尔被用于定量结构活性/性质关系(QSAR/QSPR)的研究在过去,最近的文献已占主导地位的其他机器学习技术,如随机森林。然而,各种新的神经网络技术以及在其他领域的成功应用重新引起了人们对网络方法的兴趣。在这项工作中,受获奖团队在最近的QSAR竞赛中使用神经网络的启发,我们使用人工神经网络来学习一个函数,该函数可以同时预测多个测定中化合物的活性。我们利用最近处理神经网络中过拟合的方法以及神经网络文献中的其他技巧进行了实验。我们将我们的方法与报告在这些任务上表现良好的替代方法进行了比较,发现我们的神经网络方法提供了卓越的性能。
2014-06-04 cs.LG cs.NE stat.ML
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University(布朗大学);Harvard University(哈佛大学)
我们提出了一种新型的神经网络,克罗内克神经网络(KNN),形成了一个通用的框架,神经网络的自适应激活函数。KNN使用Kronecker乘积,它提供了一种有效的方法来构建一个非常广泛的网络,同时保持参数的数量很低。我们的理论分析表明,在适当的条件下,KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外,在一定的技术假设下,我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下,我们提出了Rowdy激活函数,旨在摆脱任何饱和区域注入正弦波动,其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构,如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验,包括使用前馈神经网络的函数逼近,使用物理信息神经网络的偏微分方程的解推理,以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
Fourier Neural Networks for Function Approximation
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
神经网络在应用于各种任务时提供奇迹般的结果的成功是惊人的。通过研究神经网络的普适逼近性质,可以获得工作中的启示。广泛证明了神经网络是通用逼近器。进一步证明了深度神经网络是更好的逼近器。具体证明了对于一个窄神经网络来逼近一个由深神经网络实现的函数,该网络需要指数数量的神经元。在这项工作中,我们已经实现了各种合成功能的现有方法,并确定其不足之处。此外,我们研究了傅立叶神经网络能够在神经网络中仅具有两层的情况下表现得相当好。提出了一种具有正弦激励和两个隐层的改进的傅立叶神经网络,并给出了计算结果。
2021-10-21 cs.LG
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
随着神经网络变得越来越强大,人们越来越希望将其部署在现实世界中;然而,神经网络的能力和准确性在很大程度上取决于其深度和复杂性,这使得它们难以部署,特别是在资源受限的设备中。最近出现了神经网络量化,以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络,就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上,提出了该领域未来的研究方向。
2023-01-18 cs.LG
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外,有民间传说,量化作为一个隐式正则化,从而可以提高神经网络的泛化能力,但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量,研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播,它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核(NTK),并证明了NTK的特征值近似以指数速率衰减,这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明,再生核希尔伯特空间(RKHS)的二进制权重神经网络覆盖一个严格的子集的功能相比,一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外,二值权值神经网络与实值权值神经网络相比,给出了更小的泛化间隙,这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics
University of Cincinnati(辛辛那提大学);Visvesvaraya Technological University(维斯韦斯瓦拉亚理工大学)
本文设计光神经处理器,提出利用光遗传精确激活和基于 STDP 的反向传播间接训练模拟活体神经网络,用于图像检测并可潜在部署于混合机器人,准确率媲美传统训练算法。
2024-01-17 cs.AI cs.ET cs.LG
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值,并找出它们是否相同。可以用来解决这个问题的四种算法是:遗传回归神经网络(GRNNs),径向基函数(RBF)神经网络(RBFNNs),支持向量机(SVMs)和前馈神经网络(FFNNs)。
2019-11-16 cs.LG cs.NE cs.SY
Feature Weight Tuning for Recursive Neural Networks
Stanford University(斯坦福大学)
本文讨论了如何递归神经网络模型可以自动遗漏无用的信息,并强调重要的证据,换句话说,执行“权重调整”更高层次的表示收购。我们提出了两个模型,加权神经网络(WNN)和二进制期望神经网络(BENN),自动控制有多少一个特定的单元有助于更高层次的表示。所提出的模型可以被看作是一个更强大的组合函数嵌入采集递归神经网络。实验结果表明,显着改善标准的神经模型。
2014-12-13 cs.AI cs.CL cs.LG
A Derivation of Feedforward Neural Network Gradients Using Fréchet Calculus
University of Stuttgart(斯图加特大学)
我们提出了一个推导的梯度的前馈神经网络使用Fréchet演算可以说是更紧凑的比通常在文献中提出的。我们首先推导出工作在向量数据上的普通神经网络的梯度,并展示了如何使用这些推导出的公式来推导出一个简单而有效的算法来计算神经网络梯度。随后,我们展示了我们的分析如何推广到更一般的神经网络架构,包括但不限于卷积网络。
2022-09-27 cs.LG
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices
Université Paris-Dauphine -- PSL Research University(巴黎第九大学(多菲纳大学)-- PSL研究大学)
深度神经网络在各种各样的任务中是最先进的,然而,它们表现出重要的限制,这阻碍了它们在现实世界应用中的使用和部署。在开发和训练神经网络时,精度不应该是唯一的关注点,神经网络还必须具有成本效益和可靠性。虽然精确,但大型神经网络通常缺乏这些特性。本文研究的问题是如何训练神经网络,使其不仅精度高,而且结构紧凑,易于训练,可靠性高,对对抗性样本具有较强的鲁棒性。为了解决这些问题,我们利用Toeplitz家族的结构化矩阵的属性来构建紧凑且安全的神经网络。
2021-09-02 cs.LG
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了萤火虫神经架构下降,渐进和动态增长的神经网络,以共同优化网络的参数和架构的一般框架。我们的方法以最速下降的方式工作,它迭代地在原始网络的功能邻域内找到最佳网络,其中包括一组不同的候选网络结构。通过泰勒近似,可以找到最佳的网络结构的邻域内的贪婪选择过程。我们表明,萤火虫血统可以灵活地使网络更宽更深,并且可以应用于学习准确但资源高效的神经架构,以避免持续学习中的灾难性遗忘。从经验上讲,萤火虫血统在神经结构搜索和持续学习方面都取得了令人满意的结果。特别是,在一个具有挑战性的连续图像分类任务中,它学习的网络尺寸较小,但平均精度高于最先进的方法。
2021-06-21 cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
Planarian Neural Networks: Evolutionary Patterns from Basic Bilateria Shaping Modern Artificial Neural Network Architectures
Harrisburg University of Science and Technology(哈里斯堡科技大学);Amgen Inc.(安进公司);DevIS LLC(DevIS有限责任公司);Nanjing Audit University(南京审计大学)
本文受涡虫由一个脑和两条神经索构成的神经系统启发,以ResNet为基础提出涡虫式神经网络,并在CIFAR-10/100上验证其图像分类准确率优于基线模型。
2025-01-08 cs.AI cs.CV cs.LG
Neural Networks are Decision Trees
AAC Technologies(AAC科技)
在本文中,我们证明了任何具有任何激活函数的神经网络都可以表示为一棵决策树。这种表示是等价的而不是近似的,因此保持了神经网络的准确性。我们相信,这项工作提供了更好的理解神经网络,并铺平了道路,以解决其黑箱性质。我们分享一些神经网络的等价树,并表明,除了提供可解释性,树表示也可以实现一些计算的优势,为小型网络。该分析适用于完全连接和卷积网络,它们可能也可能不包括跳过连接和/或归一化。
2022-10-25 cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University(首尔国立大学)
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时,即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法,估计量化步长动态再训练过程中。此外,还测试了一种渐进量化方案,该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络(FFDNN)、卷积神经网络(CNN)和递归神经网络(RNN)进行实验。
2017-02-27 cs.LG
Neural network interpretability for forecasting of aggregated renewable generation
Technical University of Denmark(丹麦技术大学)
随着可再生能源的快速发展,大量的小型光伏生产者出现。由于太阳能发电的不确定性,需要聚合生产消费者预测太阳能发电量以及太阳能发电量是否会大于负荷。本文提出了两个可解释的神经网络来解决这个问题:一个是二元分类神经网络,一个是回归神经网络。神经网络使用TensorFlow构建。全局特征重要性和局部特征贡献通过三种基于梯度的方法进行检查:集成的权重,预期的权重和DeepLIFT。此外,我们发现异常的情况下,预测可能会失败,估计预测的不确定性,使用贝叶斯神经网络。神经网络采用基于梯度的方法进行解释,并辅以不确定性估计,为决策者提供了稳健和可解释的预测。
2021-06-22 cs.LG
Convolutional Neural Network(CNN/ConvNet) in Stock Price Movement Prediction
Shiv Nadar University(希夫·纳达尔大学)
随着技术的进步和数据的指数增长,我们已经在不同的领域展开了神经网络的不同功能。在本文中,我尝试在股票市场中使用一种特定类型的神经网络,称为卷积神经网络(CNN/ConvNet)。换句话说,我试图根据过去的股票价格数据构建和训练一个卷积神经网络,然后试图预测股票价格的走势,即股票价格在未来一段时间内是上涨还是下跌。
2021-06-03 cs.AI cs.CV cs.LG
Lecture Notes: Neural Network Architectures
Ruprecht-Karls-University of Heidelberg(海德堡鲁普雷希特-卡尔斯大学)
本讲义从数学优化视角介绍神经网络,并系统讲解前馈网络、卷积网络、ResNet和循环网络等主要架构。
2023-04-18 cs.LG math.OC
On Hiding Neural Networks Inside Neural Networks
Cornell University(康奈尔大学)
现代神经网络通常包含比其训练数据的大小多得多的参数。我们表明,这种过剩的容量提供了一个机会,在一个训练有素的神经网络内嵌入秘密机器学习模型。我们的新框架隐藏了一个秘密的神经网络的存在与任意所需的功能在一个载波网络。我们从理论上证明了秘密网络的检测是计算上不可行的,并证明了经验的载体网络不妥协的秘密网络的伪装。我们的论文介绍了一种以前未知的隐写技术,如果不加以检查,可以被对手利用。
2021-05-22 cs.LG stat.ML
Can a powerful neural network be a teacher for a weaker neural network?
University of Insubria(因苏布里亚大学)
迁移学习技术被广泛用于在一种情况下学习并将其应用于另一种情况,即将获得的知识和技能应用于新情况的能力。但是,有没有可能将学习从深度神经网络转移到较弱的神经网络?是否有可能使用更强大的神经网络获得的知识来改善弱神经网络的性能?在这项工作中,在弱网络的训练过程中,我们添加了一个损失函数,该函数可以最小化先前从强神经网络学习的特征与弱网络必须尝试学习的特征之间的距离。为了证明我们的方法的有效性和鲁棒性,我们使用三个已知的数据集进行了大量的实验,并证明了弱神经网络可以提高其性能,如果它的学习过程是由一个更强大的神经网络驱动。
2020-05-07 cs.LG stat.ML
Rational neural networks
University of Oxford(牛津大学);Cornell University(康奈尔大学)
我们考虑具有有理激活函数的神经网络。深度学习架构中非线性激活函数的选择至关重要,并严重影响神经网络的性能。我们根据网络复杂度建立了最佳界限,并证明了有理神经网络比深度呈指数级较小的ReLU网络更有效地逼近光滑函数。有理激活函数的灵活性和平滑性使它们成为ReLU的有吸引力的替代品,正如我们通过数值实验所证明的那样。
2020-09-30 cs.LG cs.NA cs.NE
Generating Neural Networks with Neural Networks
超网络是为另一个神经网络生成权重的神经网络。我们将超网络训练目标制定为准确性和多样性之间的折衷,其中多样性考虑到目标网络的平凡对称变换。我们解释了这个简单的配方推广变分推断。我们使用多层感知器来形成从低维输入随机向量到高维权重空间的映射,并演示了如何通过参数共享来减少该映射中的参数数量。我们进行实验,并表明,所产生的权重是不同的,并躺在一个非平凡的流形。
2018-04-06 cs.LG stat.ML
Bayesian Neural Networks: Essentials
IBM(国际商业机器公司)
贝叶斯神经网络利用概率层来捕获权重和激活的不确定性,并使用贝叶斯推理进行训练。由于这些概率层被设计成其确定性对应部分的直接替代,贝叶斯神经网络提供了一种直接和自然的方式来扩展传统的深度神经网络以支持概率深度学习。然而,由于贝叶斯神经网络的复杂性,理解、设计和训练贝叶斯神经网络是非常重要的。我们讨论了贝叶斯神经网络的本质,包括对偶(深度神经网络,概率模型),近似贝叶斯推理,贝叶斯先验,贝叶斯后验和深度变分学习。我们使用TensorFlow Probability API和代码示例进行说明。贝叶斯神经网络的主要问题是,深度神经网络的架构使得考虑大量连续层的不确定性变得非常冗余和昂贵。混合贝叶斯神经网络,它使用很少的概率层,公正地定位在网络中,提供了一个实用的解决方案。
2021-06-22 cs.AI cs.LG
Chi-Square Test Neural Network: A New Binary Classifier based on Backpropagation Neural Network
School of Information Science and Engineering(信息科学与工程学院);Lanzhou University(兰州大学)
我们介绍了卡方检验神经网络:一个单隐层反向传播神经网络使用卡方检验定理重新定义的成本函数和误差函数。使用标准反向传播算法修改权重和阈值。该方法的优点是在训练集和测试集上进行一致的数据分布。它可以用于二进制分类。在真实数据集上的实验结果表明,与相关方法相比,该算法能显著提高分类精度。
2018-09-04 cs.LG stat.ML
Safety Verification of Neural Network Control Systems Using Guaranteed Neural Network Model Reduction
Augusta University(奥古斯塔大学);Southwest Jiaotong University(西南交通大学)
为了提高神经网络控制系统安全性验证的计算效率,提出了一种保证神经网络模型降阶方法。首先,提出了模型降阶精度的概念来描述神经网络的输出与其降阶后的输出之间的保证距离。提出了一种基于可达性的模型降阶精度计算方法。然后,通过将一个尺寸减小的神经网络控制器替换到闭环系统中,开发了一种计算原系统的可达集的算法,该算法能够支持计算效率更高的安全验证过程。最后,将所提出的方法应用于带有神经网络控制器的自适应巡航控制系统的实例研究中,结果表明,该方法可以显著减少安全验证的计算时间,从而验证了该方法的有效性。
2023-01-17 cs.AI cs.LG
Are Deep Neural Networks "Robust"?
Rutgers University(罗格斯大学)
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
A Novel Neural Filter to Improve Accuracy of Neural Network Models of Dynamic Systems
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
针对神经网络长期预测误差发散问题,提出一种受扩展卡尔曼滤波启发的神经滤波器,融合状态预测与物理测量,在四个非线性系统上显著提升精度并约束协方差。
2025-06-07 cs.LG math.DS
Making Neural Networks FAIR
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);National Research Data Infrastructure (NFDI)(国家研究数据基础设施)
神经网络的研究在过去的几年中获得了巨大的动力。由于训练是一个资源密集型的过程,并且训练数据不能总是提供给每个人,因此有一种趋势是重用预先训练好的神经网络。因此,神经网络本身已经成为研究数据。在本文中,我们首先提出了神经网络本体FAIRnets Ontology,一个本体,使现有的神经网络模型的发现,访问,互操作,并根据FAIR原则重用。我们的本体论允许我们以结构化的方式在元级别上对神经网络建模,包括所有网络层及其特征的表示。其次,我们基于这个本体从GitHub上建模了超过18,400个神经网络,我们将其作为一个名为FAIRnets的知识图谱提供给公众,准备用于向数据科学家推荐合适的神经网络。
2020-12-01 cs.LG stat.ML
Towards Repairing Neural Networks Correctly
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Huawei International Pte Ltd(华为国际有限公司)
神经网络越来越多地应用于支持安全关键应用(如自动驾驶汽车、无人机和基于人脸识别的身份验证)中的决策。虽然已经提出了许多令人印象深刻的静态验证技术来解决神经网络的正确性问题,但静态验证可能永远无法充分扩展以处理真实世界的神经网络。在这项工作中,我们提出了一个运行时验证方法,以确保正确的神经网络。给定一个神经网络和一个理想的安全属性,我们采用最先进的静态验证技术来确定战略位置,以引入额外的门,“正确的”神经网络的行为在运行时。实验结果表明,我们的方法有效地产生神经网络,保证满足的性质,同时是与原始的神经网络的大部分时间一致。
2021-05-06 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
Wavelet Neural Networks versus Wavelet-based Neural Networks
Faculty of Engineering Science and Technology(工程科学与技术学院);UiT – The Arctic University of Norway(挪威北极大学)
这是一系列研究中的第一篇论文,在这些研究中,我们引入了一种新型的神经网络(NN)--基于小波的神经网络(WBNN)--并研究了它们的特性和应用潜力。我们开始这项研究的比较,目前现有类型的小波神经网络(WNN),并表明WBNN大大优于WNN。WBNN的巨大优势的一个原因是它们基于双正交多分辨率分析(MRA)的高级层次树结构。另一个原因是实现了我们的新想法,将小波树深度纳入NN的神经宽度。小波深度和神经深度的角色的分离提供了一种概念上和算法上简单但高效的方法,用于群和深度WBNN的功能的急剧增加以及机器学习过程的快速加速。
2022-11-01 cs.LG eess.SP
Single neuron-based neural networks are as efficient as dense deep neural networks in binary and multi-class recognition problems
神经科学的最新进展揭示了许多关于神经处理的原理。特别是,许多生物系统被发现重新配置/招募单个神经元以产生多种决策。这些发现有可能促进我们对人工神经网络的设计和优化过程的理解。之前的工作表明,需要密集的神经网络来塑造人工智能级别识别任务所需的复杂决策表面。我们调查的能力,使用单个或几个神经元网络,相对容易训练高维识别问题建模。通过使用三个数据集,我们测试了在执行多类识别任务的单神经元网络的人口的使用。令人惊讶的是,我们发现稀疏网络在二进制和多类任务中可以与密集网络一样有效。此外,单神经元网络在二进制分类方案中表现出优越的性能,并且在组合用于多类识别时表现出竞争结果。
2019-05-28 cs.LG stat.ML
Neural Network Branching for Neural Network Verification
University of Oxford(牛津大学)
神经网络的形式化验证对于其在安全关键领域的部署至关重要。许多可用的形式化验证方法已被证明是一个统一的分支和界限(BaB)制定的实例。我们提出了一个新的框架,设计一个有效的分支策略的BaB。具体来说,我们学习一个图神经网络(GNN)来模仿强分支启发式行为。我们的框架不同于以前的方法学习分支在两个主要方面。首先,我们的框架直接将我们想要验证的神经网络视为GNN的图形输入。其次,我们开发了一个直观的向前和向后嵌入更新时间表。从经验上讲,与最好的手工设计的分支策略相比,我们的框架在分支数量和各种卷积网络上验证所需的时间上都实现了大致$50\%$的减少。此外,我们证明了我们的GNN模型具有水平和垂直的可转移性。横向而言,在简单属性上训练的模型在难度级别增加的属性上表现良好。在垂直方向上,在小型神经网络上训练的模型在大型神经网络上实现了类似的性能。
2019-12-03 cs.LG stat.ML
Universal Approximation Theorem for Neural Networks
九州大学大学院数理学府
神经网络的逼近能力是否有理论保证?这个问题的答案是“神经网络的通用逼近定理“。该定理指出,在适当的设置下,神经网络在一定的函数空间中是稠密的。本文对前向神经网络的普适逼近定理、逼近速度问题(中间单元数与逼近误差的关系)以及日本的Barron空间作了全面的解释。
2021-02-19 cs.AI cs.LG
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin(都柏林大学学院)
深度神经网络(DNN)是一种通用的参数模型,已成功应用于各种任务和领域。然而,他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化,提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究,经验评估和比较贝叶斯神经网络,他们的等效点估计深度神经网络量化的预测不确定性引起的参数,以及他们的表现,鉴于这种不确定性。在这项研究中,我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集(CIFAR-10和SVHN)。
2019-12-29 cs.LG stat.ML
Factor Graph Neural Network
National University of Singapore(新加坡国立大学);Nanjing University(南京大学)
大多数成功的深度神经网络架构都是结构化的,通常由卷积神经网络和门控递归神经网络等元素组成。最近,图神经网络已经成功地应用于图结构化数据,例如点云和分子数据。这些网络通常只考虑成对依赖关系,因为它们是在图结构上操作的。我们推广的图神经网络到一个因素图神经网络(FGNN),以捕捉高阶依赖。我们表明,FGNN是能够代表最大产品的信念传播,概率图模型的近似推理算法,因此,它是能够做得很好,当最大产品做得很好。在合成数据集和真实数据集上的实验结果表明了该模型的有效性。
2019-06-03 cs.LG stat.ML
Neural Networks, Hypersurfaces, and Radon Transforms
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
沿超曲面,Radon变换,和神经网络的集成之间的连接被利用,突出了一个完整的几何数学解释的神经网络。通过分析神经网络作为观测数据概率分布算子的性质,我们证明了神经网络中任意节点的输出分布可以解释为沿输入数据空间上水平曲面定义的超曲面的非线性投影。我们利用这些描述提供新的解释的现象,如非线性,池,激活函数,和对抗的例子在神经网络为基础的学习问题。
2019-07-04 cs.LG stat.ML
Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks
Apple Inc.(苹果公司);Florida State University(佛罗里达州立大学)
人工神经网络形成了非常强大的学习方法的基础。已经观察到,将全连接神经网络幼稚地应用于具有许多不相关变量的数据通常会导致过拟合。为了避免这个问题,可以将关于哪些特征是相关的以及它们可能的特征交互的先验知识编码到这些网络中。在这项工作中,我们使用决策树来捕捉这些相关的功能和它们的相互作用,并定义一个映射,以编码提取到一个神经网络的关系。这解决了全连接神经网络的初始化相关问题。同时,通过特征选择,与现有技术的基于树的方法相比,它能够学习紧凑表示。实证评估和仿真研究表明,这种方法优于完全连接的神经网络和基于树的方法
2020-02-11 cs.LG stat.ML